Ollama参数详解与性能调优—并发/并行数（OLLAMA_NUM_PARALLEL）

OLLAMA_NUM_PARALLEL

参数作用

表示Ollama可以同时处理的并发请求数量。增加该值可以提高并发处理能力，但也会增加系统资源的使用。因此并不是越大越好。

性能调优

OLLAMA_NUM_PARALLEL的默认值通常是1或4，但在大多数情况下，设置为2或3是一个较好的选择，因为这样可以平衡响应时间和资源利用率‌。例如，设置为2可以允许Ollama同时处理两个并发请求，这通常是一个合理的折衷值

如何启用

1.通过systemd服务文件修改

• 编辑systemd服务文件，添加或修改环境变量OLLAMA_NUM_PARALLEL。例如：

vim /etc/systemd/system/ollama.service
[Service]
Environment="OLLAMA_NUM_PARALLEL=5"

• 重新加载systemd配置并重启服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama

2.通过命令行参数修改

• 在启动Ollama服务时，可以通过命令行参数设置--num-parallel。例如：

ollama --num-parallel=5