🛠️ModelScope（魔搭社区）下载该模型的 GGUF 文件，然后直接导入 Ollama 运行

yxbinghe • • Daily
这个模型在 ModelScope（魔搭社区） 有国内的高速镜像，下载速度可以跑满您的物理带宽，且支持断点续传，绝不降速。
1. 安装高速下载工具 aria2
sudo apt-get update && sudo apt-get install aria2 -y

2. 从国内高速镜像下载对应的 GGUF 文件
由于您下载的是 IQ3_M 显着量化版本，我们直接用 16 线程从国内镜像下载该文件（文件大约 14.4GB）：
# 进入您的存储分区
cd /data

# 使用 aria2 开启 16 线程高速下载
aria2c -x 16 -s 16 -k 1M "https://modelscope.cn" -o Qwen3.6-35B-A3B-IQ3_M.gguf
3. 将下载好的文件直接导入到 Ollama
下载完成后，您无需再忍受 ollama pull。通过编写一个简单的配置文件（Modelfile），可以让 Ollama 秒级识别并生成本地模型：
    1. 并在 /data 目录下创建一个名为 Modelfile 的文件： 
      nano /data/Modelfile

    2. 输入以下两行内容：
      dockerfile
      FROM /data/Qwen3.6-35B-A3B-IQ3_M.gguf
TEMPLATE "{{ if .System }}<|im_start|>system\n{{ .System }}<|im_end|>\n{{ end }}{{ if .Prompt }}<|im_start|>user\n{{ .Prompt }}<|im_end|>\n{{ end }}<|im_start|>assistant\n{{ .Response }}<|im_end|>\n"

      (注：按 Ctrl+O 回车保存，Ctrl+X 退出)

    3. 运行构建命令（瞬间完成，无需下载）： 
      ollama create qwen3.6-35b-local -f /data/Modelfile

4. 完美运行
现在，您可以直接启动这个纯本地构建、绝无损坏的高速模型了：
bash
ollama run qwen3.6-35b-local
也可以https://huggingface

版权声明：
作者：yxbinghe
链接：https://www.zhanhao.ch/?p=763
来源：ice.99
文章版权归作者所有，未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>