1. 基础状态检查

目标：确认GPU是否被系统识别

# 查看所有GPU信息（NVIDIA）

nvidia-smi



# 查看PCI设备信息（通用）

lspci | grep -i nvidia



# 检查内核模块加载

lsmod | grep nvidia

故障现象：

  • 命令无输出 → 驱动未安装

  • 显示No devices found → 硬件连接问题

  • 温度/功耗异常 → 散热故障

2. 驱动与CUDA环境排查

目标：验证驱动兼容性

# 检查驱动版本

cat /proc/driver/nvidia/version



# 验证CUDA工具包

nvcc --version



# 测试CUDA基础功能

/usr/local/cuda/samples/1_Utilities/deviceQuery/deviceQuery

常见问题：

  • 版本冲突：使用sudo apt list --installed | grep nvidia核对驱动版本

  • CUDA报错：运行cuda-install-samples-.sh

    重装测试用例

3. 多卡通信故障排查

目标：检测GPU间通信状态（NCCL/P2P）

# 测试NCCL通信

git clone https://github.com/NVIDIA/nccl-tests.git

cd nccl-tests && make

./build/all_reduce_perf -b 8 -e 256M -f 2



# 检查P2P访问能力

nvidia-smi topo -m

关键指标：

  • P2P状态：nvidia-smi中P2P列应为OK

  • NCCL错误：日志含transport retry → 网络配置问题

4. 资源分配异常处理

目标：解决显存/进程冲突

# 查看GPU进程占用

nvidia-smi --query-compute-apps=pid,used_memory --format=csv



# 强制释放显存（谨慎使用）

sudo kill -9 $(nvidia-smi --query-compute-apps=pid --format=csv,noheader)



# 设置GPU可见性（隔离单卡调试）

CUDA_VISIBLE_DEVICES=0 python test_script.py

典型场景：

  • CUDA_ERROR_OUT_OF_MEMORY → 僵尸进程占用显存

  • 多卡负载不均 → 检查任务分配逻辑

5. 硬件级深度检测

目标：定位物理故障

# 压力测试（需安装cuda-samples）

/usr/local/cuda/samples/1_Utilities/bandwidthTest/bandwidthTest



# 持续监控工具

nvidia-smi dmon  # 动态刷新指标

nvtop          # 可视化监控（需安装）

硬件故障特征：

  • 带宽测试失败 → PCIe插槽或线材故障

  • ECC Errors持续增长 → 显存损坏

6. 日志与系统级排查

目标：分析底层日志

# 查看内核日志（过滤GPU错误）

dmesg | grep -i nvidia



# NVIDIA驱动日志

cat /var/log/nvidia-installer.log



# 系统服务状态（适用于A100/H100）

systemctl status nvidia-persistenced

日志关键词：

  • GPU has fallen off the bus → 电源不足

  • Failed to initialize NVML → 驱动加载失败

重要提示：

  • 多卡服务器需确保BIOS中Above 4G Decoding开启

  • 使用sudo update-pciids更新硬件数据库

  • 推荐定期运行dcgmi diag -r 3进行全面诊断（需安装DCGM）