并行处理及分布式系统 并行处理及分布式系统1 为什么要并行计算1.1 为什么需要不断提升性能 随着计算能力的增加,我们所面临的计算问题和需求也在增加 随着技术的进步,我们从未想过的技术得到了解决,比如:人类基因解码、更准确的医疗成像、更快速准确的网络搜索…… 更 2021-12-27 Parallel Programing 【论文精读系列】ESRGAN ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks论文地址:https://openaccess.thecvf.com/content_ECCVW_2018/p 2021-12-09 reading GAN 【论文精读系列】目录 【论文精读系列】目录本文为 论文精读系列 的目录,点击链接跳转到对应的文章。 PS: 本文排版参照 https://github.com/mli/paper-reading Computer VisionCNN Read Publis 2021-12-09 reading MachineLearning DeepLearning 注意力机制 1 Attention1.1 什么是 Attention灵长类动物的视觉系统中的视神经接受了大量的感官输入。在检查视觉场景时,我们的视觉神经系统大约每秒收到 $10^8$ 位的信息,这远远超过了大脑能够完全处理的水平。但是,并非所有刺激的影 2021-11-27 DeepLearning attention self-attention CUDA 编程入门 CUDA 编程入门CUDA 概述CUDA 是 NVIDIA 推出的用于其发布的 GPU 的并行计算架构,使用 CUDA 可以利用 GPU 的并行计算引擎更加高效的完成复杂的计算难题。 在目前主流的使用冯·诺依曼体系结构的计算机中,GPU 属 2021-11-20 Parallel Computing CUDA 数学基础 本篇博客不包含深度学习中所有的数学知识,只是我在学习过程中,对不会或者不熟悉的数学知识的记录,因此部分内容和推导我会省略掉。 微积分线性代数概率论条件概率 P(A|B)=\frac{P(A,B)}{P(B)}乘法公式 P(A,B)=P(B) 2021-11-20 机器学习 深度学习 数学 线性代数 微积分 概率论 信息论 图论基础 图论基础树和图的存储模板树是特殊的图,无向图是特殊的有向图,所以只需要考虑有向图的存储。 图的存储(邻接表) 适用于稀疏图 #include <iostream> #include <algorithm> #include & 2021-11-19 算法竞赛 图论 最短路 最小生成树 二分图 Dijkstra Prim Kruskal 染色法 匈牙利算法 CUDA view GPU information CUDA view GPU information详细代码如下所示: #include <stdio.h> #include <time.h> #include <math.h> #include "cuda_runtim 2021-11-19 Parallel Computing CUDA CUDA Vector Addition CUDA Vector Addition1 准备工作1)安装 xshell 2)远程连接服务器,打开 jupyter 服务 3)网页进入对应的 jupyter 服务 2 Launcher 的介绍 3 查看 GPU 设备信息1)点击 Text 2021-11-19 Parallel Computing CUDA 算法竞赛进阶指南学习笔记 位运算原码原码就是符号位加上真值的绝对值, 即用第一位表示符号, 其余位表示值. 比如如果是8位二进制: 其中,第一位为1是负数 [+1] = [0000 0001]原 [-1] = [1000 0001]原 因此,8位二进制数的取值范 2021-11-19 算法竞赛 二分 前缀和 位运算 递推 二维前缀和 二维前缀和之前已经说过一维前缀和了,二位前缀和就是在此基础上拓展出来的。 定义式 递推式 一维前缀和 S[i]=S[i-1]+a[i] 二维前缀和 S[i][j]=S[i-1][j]+S[i][j-1]-S[i- 2021-11-19 算法竞赛 前缀和 SQL Sever 学习笔记——图形化创建数据库 SQL Sever Management Studio基础启动连接到数据库服务器连接服务器之后可以看到界面的左侧如图所示:展开数据库选项卡后,可以看到已经存在的数据库: 创建数据库右键单击“数据库”选项,选择“新建数据库”选项:我们根据需求 2021-11-19 SQL