cupy.cuda.nccl.groupStart#
- cupy.cuda.nccl.groupStart()#
开始一组 NCCL 调用。必须与
groupEnd()配对使用。注意
当
NcclCommunicator实例通过initAll()创建时，此方法很有用。典型的使用模式如下：comms = cupy.cuda.nccl.NcclCommunicator.initAll(n, dev_list) # ... do some preparation work cupy.cuda.nccl.groupStart() for rank, comm in enumerate(comms): # ... make some collective calls ... cupy.cuda.nccl.groupEnd()
其他用例包括将多个 NCCL 调用融合成一个，以及使用
send()和recv()进行点对点通信（需要 NCCL 2.7+）。