跳到主要内容
返回顶部
Ctrl
+
K
安装
安装 SGLang
后端教程
DeepSeek 用法
Llama4 用法
发送请求
OpenAI API - 补全
OpenAI API - 视觉
OpenAI API - Embedding
SGLang 原生 API
离线引擎 API
服务器参数
采样参数
超参数调优
注意力后端
支持的模型
大型语言模型
多模态语言模型
Embedding 模型
奖励模型
如何支持新模型
高级特性
推测解码
结构化输出
工具和函数调用
推理解析器
推理模型的结构化输出
自定义聊天模板
量化
LoRA 服务
前端教程
SGLang 前端语言
SGLang 中的 Choices 方法
SGLang 路由器
用于数据并行的路由器
参考资料
通用指南
硬件支持
多节点部署
多节点部署
在 Kubernetes 上部署
性能调优
仓库
显示源码
建议编辑
打开问题
.rst
.pdf
多节点部署
多节点部署
#
多节点部署
在 Kubernetes 上部署
