PCIe（高速串行总线）

PCIe是一种连接扩展设备的高速串行总线标准。它是一种内部接口，用于连接主板（类似于购物中心）和各种插槽（类似于商店）上的扩展设备，如显卡、网卡、硬盘控制器和其他周边设备。PCIe提供了快速而可靠的数据传输通道，允许扩展设备与计算机系统进行高速通信。可以实现几十GB/S的传输速度

NVlink（NVIDIA的高速互连技术）

NVLink是一种由NVIDIA开发的高速互连技术，用于在计算机系统中连接多个图形处理单元（GPU），以实现更高的数据传输速度和更低的延迟。能够提供比PCIe更快的传输速度，可通过桥接器连接两块NVIDIA显卡，实现上百GB/S的传输速度

Infiniband（无限带宽）

InfiniBand（无限带宽）是一种高性能、低延迟的计算和存储网络架构和通信协议。 InfiniBand被广泛应用于高性能计算（HPC）领域和大规模数据中心，它提供了高带宽和低延迟的数据传输能力，适用于处理大规模并行计算、高速数据存储和集群应用。带宽可以达到400GB/S

MPI（并行计算Message Passing Interface）

MPI (Message Passing Interface) 是一种用于编写并行程序的通信协议和标准。它提供了一套函数接口，使得在多个计算节点（通常是集群或超级计算机）上的多个进程之间进行消息传递和通信成为可能，从而实现并行计算。MPI主要用于解决并行计算中的通信和同步问题。它允许开发人员将一个问题分解为多个并行的任务，每个任务都在不同的计算节点上执行，通过消息传递来共享数据和结果

Pinned (page-locked) memory