可观测性

生产环境指标

SGLang 通过 Prometheus 暴露以下指标。您可以在启动服务器时添加 --enable-metrics 来启用它们。您可以通过以下方式查询它们：

curl http://localhost:30000/metrics

有关更多详细信息，请参阅 生产环境指标 和 生产环境请求追踪。

日志

默认情况下，SGLang 不会记录任何请求内容。您可以使用 --log-requests 来记录它们。您可以使用 --log-request-level 来控制日志的详细程度。有关更多详细信息，请参阅 日志记录 (Logging)。

请求转储与重放

您可以转储所有请求，并稍后重放它们以进行基准测试或其他目的。

要开始转储，请使用以下命令向服务器发送请求：

python3 -m sglang.srt.managers.configure_logging --url http://localhost:30000 --dump-requests-folder /tmp/sglang_request_dump --dump-requests-threshold 100

服务器将每隔 100 个请求将请求转储到一个 pickle 文件中。

要重放转储的请求，请使用 scripts/playground/replay_request_dump.py。

崩溃转储与重放

有时服务器可能会崩溃，您可能希望调试崩溃的原因。SGLang 支持崩溃转储，它将转储崩溃前 5 分钟内的所有请求，允许您稍后重放请求并调试原因。

要启用崩溃转储，请使用 --crash-dump-folder /tmp/crash_dump。要重放崩溃转储，请使用 scripts/playground/replay_request_dump.py。