litellm-relay

企业AI工具管理与影子AI检测代理

⭐ 53 Rust

✓ 解决什么问题

解决企业内 AI 工具管理分散的问题：员工从不同来源安装 AI 编码工具，手动配置 API 密钥存在安全隐患；同时，公司无法监控员工使用的各种 AI 应用（如 Notion AI、Perplexity），导致预算失控和数据泄露风险。Relay 统一管理 AI 工具版本和认证，并集中捕获所有 AI 流量，实现审计、访问控制和成本追踪。

✓ 最适合

适合中大型企业，特别是已使用或计划使用 Claude Code、Codex 等 AI 编码工具的团队，且希望通过现有 MDM 系统（Jamf、Intune 等）进行批量部署，并需要将 AI 使用纳入统一网关管控（预算、模型访问、用户身份）的场景。

✗ 不适合

不适合个人开发者或小型团队（无 MDM 和身份提供商），或不需要集中管理 AI 工具使用和监控影子 AI 的松散组织；也不适合部署在非企业级操作系统（如 Windows 暂无明确支持）的环境。

快速上手

bash
1. 在员工设备上安装 Relay（需管理员权限）
curl -fsSL https://raw.githubusercontent.com/LiteLLM-Labs/litellm-relay/main/src/install.sh | RELAY_VERSION=v0.1.0 RELAY_SHA256= bash
2. 配置网关和身份提供商（管理员执行）
relay onboard —gateway-url https://gateway.yourco.com —authorize-url https://login.yourco.com/authorize —team engineering
3. 启动 Relay（新终端运行）
relay

项目详情

LiteLLM Relay 是一个用 Rust 编写的轻量级代理程序（GitHub 53 Star），专为企业环境设计。它通过 MDM（如 Jamf、Microsoft Intune、Kandji 等）批量部署到员工设备上，执行两项核心功能：

  1. AI 编码工具管理：Relay 自动安装并版本管理 Claude Code 和 Codex，通过 LiteLLM AI Gateway 集成企业身份提供商（如 Okta、Entra、Google 等）的单点登录。员工无需接触任何提供商 API 密钥，无需手动设置环境变量，使用已有的企业身份即可认证并调用模型。Relay 会写入 ~/.claude/settings.json 配置网关地址和认证信息。
  2. 影子 AI 检测：Relay 能识别来自桌面应用（如 Notion AI）、浏览器 AI、编码工具、代理、MCP 客户端等产生的 AI 流量，并将其路由到 LiteLLM 网关，使所有 AI 使用行为在一个控制面板中可见。

Relay 不记录 Cookies 或授权标头，负载预览会被截断，标头会被脱敏。支持通过 JWT 认证的 auto_register 功能自动为每个 SSO 身份创建虚拟密钥，并分配独立的预算、模型访问权限和费用追踪。

部署方式包括一条安装命令（需指定版本和 SHA256 校验和），以及后续的 relay onboard 命令完成网关和身份配置。