# 假设模型有12层,pipeline-parallel-size=3 # GPU0: 处理第1-4层 # GPU1: 处理第5-8层 # GPU2: 处理第9-12层 # 数据流: # 输入 → GPU0 → GPU1 → GPU2 → 输出