关于并行计算框架的一些理解及学习路径
- 并行计算框架中各种方式介绍
-
- 1.openMP
- 2.MPI
- 3.CUDA
并行计算框架中各种方式介绍
并行计算主要分为两大方向，主机端的CPU并行和设备端的GPU并行。
CPU端的并行主要有openMP 和MPI等方式。
GPU端的并行方式主流的有NVIDIA 的CUDA架构（GPU端的加速方式已经比较成熟，各种TOP500的超算都在大量使用GPU加速卡,包括我们的天河二号超算之前就曾经用过Intel Xeon Phi ）
1.openMP
1.事实上，openMP作为一种比较易用的并行方式（但需要在编译器中打开openMP支持），支持C,C++,Fortran三种编程语言。
2.C openMP的学习资料比较多，我个人是在“超算习堂”中学习基础语法的，比如最常用的对循环的并行化，多线程的控制等等，后面倒不是经常用到了，该平台完全开放免费，还可以学习MPI等其他并行框架（保姆级教学）
3.Fortran openMP是我最近才接触到的，由于导师的祖传代码是用fortran写的（-_-），我只能选择自学fortran。不过幸运的是,openMP 用C和Fortran的写法差别并不大，有了C openMP的基础会好很多。
这里我推荐这个在Fcode上找到的资源《使用OpenMP 进行 Fortran95并行计算》网页下面下面有个中文版，要是各位够猛，点那个英文版也是可以的。
2.MPI
这个没学过，先挖个坑，以后回来说。
3.CUDA
这个是NVIDIA 自家推出的GPU计算框架，暂时支持五种编程语言（如上图咯）
我本人就准备主攻CUDA方向，手上的资料中比较推荐机械工业出版社这本CUDA并行程序设计，主要C语言描述。
1.个人认为，CUDA C的适用性最好，我是用VS 2019搭建的CUDA C环境，CUDA可以去英伟达官网下，链接CUDA下载点我
注意，先下载VS，再下载CUDA，要不然很可能连接不上出错。
CUDA C的初阶学习也可以在上面提到的超算习堂进行。
2.而fortran的环境搭建详细步骤可以参考这篇文章fortran环境搭建
我个人是用第二种，可以再次依靠着VS2019 （反正在上一点搭建CUDA C环境的时候已经下了）。
但无论是第一种还是第二种都有个问题，很严重，就是没法对fortran代码使用CUDA并行化，对此，我只找到了使用PGI编译器一种解决方法，找了很多论坛也没看到其他方法（那岂不是刚刚都在说废话啊喂 ），如果使用PGI编译器的话，还需要在linux系统下使用专业的算卡，我暂时也没有什么好办法了 ，所以对fortran代码的并行优化我暂时都是在CPU端用openMP做的。
