华为昇腾910B部署Deepseek

安装DeepSeek

1. 下载模型文件

由于 modelscope 下载需要 Python 3.10 以上的支持，为了不影响系统的 Python 版本，可以选择在 Docker 容器中下载模型文件。

步骤 1: 启动 Docker 容器

运行以下命令启动一个容器：

docker run -d --name mypython --rm -v /mnt/nvme01/download:~/.cache/modelscope/hub \
  666860.xyz/python:3.11-slim tail -f /dev/null

步骤 2: 进入容器内部

使用以下命令进入容器内部：

docker exec -it mypython bash

步骤 3: 下载模型文件

在容器内执行以下命令安装 modelscope 并下载模型文件：

pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B

下载完成后，模型文件会存放在指定的目录 /mnt/nvme01/download。

---

2. 运行 DeepSeek 容器

步骤 1: 准备模型文件

将下载的模型文件夹复制到 /mnt/nvme01/model/DeepSeek-R1-Distill-Llama-70B，即 DeepSeek 映射到容器内部的文件夹。

步骤 2: 启动 DeepSeek 容器

运行以下命令启动 DeepSeek 容器：

docker run -it -d --net=host --shm-size=1g \
    --name DeepSeek-R1-70B \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /mnt/nvme01/model/DeepSeek-R1-Distill-Llama-70B:/mnt/nvme01/model/DeepSeek-R1-Distill-Llama-70B:ro \
    swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts bash

---

3. 启动服务

进入容器内部后，执行以下命令：

前台运行

cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

后台运行

nohup ./mindieservice_daemon > mindieservice_daemon.log 2>&1 &

---

4. 退出容器

运行成功后，使用以下命令退出容器：

exit