HAMi-Core 调试指南

# 进入容器
kubectl exec -it <pod-name> -- bash

# 设置环境变量后运行程序
export LIBCUDA_LOG_LEVEL=4
python3 your_training_script.py

# 查看容器日志（包含 HAMi-Core 输出）
kubectl logs <pod-name> -c <container-name>

# 实时跟踪日志
kubectl logs -f <pod-name> -c <container-name>

# 找到 device-plugin Pod
PLUGIN_POD=$(kubectl get pods -n kube-system -l app=hami-device-plugin -o jsonpath='{.items[0].metadata.name}' --field-selector spec.nodeName=<node-name>)

# 在容器内执行
kubectl exec -it $PLUGIN_POD -n kube-system -- /usr/local/bin/shrreg_tool

# 查看所有 GPU 的共享区域状态
shrreg_tool --inspect

# 查看指定 GPU 的详细信息
shrreg_tool --inspect --device 0

# 查看共享区域版本信息
shrreg_tool --version

# 检查 HAMi-Core 库版本
kubectl exec -it <pod-name> -- env | grep HAMI_VERSION

# 检查共享区域版本
kubectl exec -it $PLUGIN_POD -n kube-system -- shrreg_tool --version

# 在容器内启用 Debug 日志
export LIBCUDA_LOG_LEVEL=4

# 运行程序，关注以下日志
# [HAMI-core Debug] get_gpu_memory_usage: device=0, used=2048MB

# 在容器内通过 nvidia-smi 查看
nvidia-smi --query-gpu=memory.used --format=csv,noheader

# 或者在宿主机上查看指定 GPU
nvidia-smi -i 0 --query-gpu=memory.used --format=csv,noheader

# 使用 shrreg_tool 查看注册的任务
shrreg_tool --inspect --device 0

# 检查这些 PID 是否仍然存活
for pid in $(shrreg_tool --inspect --device 0 | grep PID | awk '{print $2}'); do
    if kill -0 $pid 2>/dev/null; then
        echo "PID $pid: ALIVE"
    else
        echo "PID $pid: DEAD (zombie entry)"
    fi
done

# 查看 Pod 的算力限制配置
kubectl get pod <pod-name> -o jsonpath='{.metadata.annotations}' | grep gpucores

# 在容器内查看环境变量
kubectl exec <pod-name> -- env | grep -i "CUDA_DEVICE_SM_LIMIT\|GPU_CORE"

export LIBCUDA_LOG_LEVEL=4
# 运行程序后关注以下日志
# [HAMI-core Debug] utilization_watcher: current_util=85%, limit=50%, throttling...
# [HAMI-core Debug] utilization_watcher: token_bucket: tokens=0, refill_rate=50

# 通过 shrreg_tool 查看
shrreg_tool --inspect --device 0
# 关注 Util Limit 字段

# 宿主机上查看 GPU 实际利用率
nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader -l 1

# 容器内 HAMi-Core 报告的利用率（Debug 日志）
# [HAMI-core Debug] utilization_watcher: sampled_util=48%

# 第一步 - 确认死锁状态
shrreg_tool --inspect --device 0
# 确认 Lock Status = LOCKED

# 第二步 - 检查持锁进程
HOLDER_PID=$(shrreg_tool --inspect --device 0 | grep "Lock Holder" | awk '{print $NF}')
if kill -0 $HOLDER_PID 2>/dev/null; then
    echo "进程 $HOLDER_PID 仍在运行，不要强制解锁"
    echo "请先分析该进程为何长时间持锁"
else
    echo "进程 $HOLDER_PID 已退出，可以安全解锁"
fi

# 第三步 - 强制解锁（仅在确认进程已退出时执行）
shrreg_tool --force-unlock --device 0

# 第四步 - 清理僵尸任务记录
shrreg_tool --cleanup --device 0

# 第五步 - 验证恢复
shrreg_tool --inspect --device 0