强化学习曾小健

原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。

使用NPU 20.0.X和NPU 20.1.X系列版本驱动包安装时，以非HwHiAiUser用户为运行用户安装驱动，卸载重启后以HwHiAiUser为运行用户再次安装，若出现“/home/HwHiAiUser: Permission denied”报错，请忽略。NPU版本号可通过驱动包名称查看，例如驱动包名称为“A300-3010-NPU_Driver-20.0.0-X86_64-Ubuntu18.04.run”，则NPU的版本号为20.0.0。驱动包名称中不包含gcc版本的，安装无须检查GCC版本。

环境对齐 (通常不需要运行. 如果你运行错误, 可以跑下面的代码, 仓库使用最新环境测试)# 如果你想要使用deepspeed (控制显存占用,训练速度会有一定下降)通过如下命令启动单卡微调: （注意: 如果微调期间出现nan的情况, 请设置。# 安装ms-swift(当前推荐从源码安装, 待发版后可直接pip安装)# 实验环境: 4 * 昇腾910B3。# 实验环境: 4 * 昇腾910B3。# 实验环境: 4 * 昇腾910B3。# 显存需求: 4 * 22 GB。

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。本文简要介绍了 MindIE 基本特性，后续我也会推出一些MindIE相关的实战教程，如果大家感兴趣，请持续关注。

【代码】华为310P3，测试llama3-8B。

安装 torch_npu 以torch 2.0.1 的python 3.9的版本为例。根据所使用的环境中的python版本以及cpu类型，选择对应版本的torch安装包。# 若使用gitee上的源码进行编译（即1.5章节的场景二），则执行以下指令。# 安装torch 2.0.1 的python 3.9 的arm版本为例。torch版本 以及 python版本 一致的npu_torch。# 若使用编译好的包（即1.5章节的场景一），则执行以下指令。先安装torch 再安装torch_npu。

bash bash text bash bash bash bash bash请注意，创建新用户和修改系统配置可能需要管理员权限。确保您有足够的权限执行这些操作。此外，在进行这些更改之前，建议备份重要数据。 bash bashpipCommand 'pip' not found, but can be installed with:sudo apt install python3-pipbaixin@baixin:~$ s

本文演示了如何快速在昇腾910B上微调baichuan2/qwen1.5大模型，相对于Nvidia GPU来说，目前将大模型部署到910B，基本上不需要太多额外的改动即可完成。当然该方案可能会遇到某些算子瓶颈，导致性能很差，特别是在910A上面特别明显。此外，还有一些库并没有原生支持Ascend NPU，比如：bitsandbytes、Xformers 等。因此，在训练和微调时，会受到一些限制。