使用来自 ModelScope 的模型

要使用来自 ModelScope 的模型，请设置环境变量 SGLANG_USE_MODELSCOPE。

export SGLANG_USE_MODELSCOPE=true

我们以 Qwen2-7B-Instruct 为例。

启动服务器

python -m sglang.launch_server --model-path qwen/Qwen2-7B-Instruct --port 30000

或通过 docker 启动

docker run --gpus all \
    -p 30000:30000 \
    -v ~/.cache/modelscope:/root/.cache/modelscope \
    --env "SGLANG_USE_MODELSCOPE=true" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path Qwen/Qwen2.5-7B-Instruct --host 0.0.0.0 --port 30000

请注意，ModelScope 使用的缓存目录与 HuggingFace 不同。您可能需要手动设置它，以避免磁盘空间耗尽。