跳到主内容
返回顶部
Ctrl
+
K
安装
安装 SGLang
后端教程
DeepSeek 用法
Llama4 用法
发送请求
OpenAI API - 补全
OpenAI API - 视觉
OpenAI API - 嵌入
SGLang 原生 API
离线引擎 API
服务器参数
采样参数
超参数调优
注意力后端
支持的模型
大语言模型
多模态语言模型
嵌入模型
奖励模型
如何支持新模型
高级特性
推测解码
结构化输出
工具和函数调用
推理解析器
推理模型的结构化输出
自定义聊天模板
量化
LoRA 服务
前端教程
SGLang 前端语言
SGLang 中的选择方法
SGLang 路由器
数据并行路由器
参考资料
一般指南
硬件支持
SGLang 在 AMD 上
在 NVIDIA Jetson Orin 上应用 SGLang
多节点部署
性能调优
代码库
显示源文件
建议修改
提出问题
.rst
.pdf
硬件支持
硬件支持
#
SGLang 在 AMD 上
在 NVIDIA Jetson Orin 上应用 SGLang