LLM Relay 把手上各个渠道(官方 API、各类中转站)统一成一个本机入口: 你常用的工具只需改一处地址就能全部接上,以后换渠道也不用逐个工具改配置。
除了转发,它还多两件事 —— 模型验真:判断渠道给的模型有没有注水; 隐私脱敏:把敏感信息在本机替换掉再发出去,模型引用后交付前自动还原。 配置、日志、统计、验真记录全部留在你自己的电脑上。
手里有多个渠道 / 中转站,每个工具都要单独改一遍配置;换一个渠道,要改 N 个地方。
在中转站调用,不确定有没有被「换成便宜的模型」,也不知道该从哪里验证。
需要把服务器信息、密钥喂给 AI,但担心真实 IP、密码、Key 明文流向不可控的上游。
统一入口 / 渠道编排 / 模型验真 / 隐私脱敏 —— 四件事在同一个本机程序里完成
双协议兼容,本地工具只需把 base URL 指到本机,换渠道只改一处。
按 model 精确匹配渠道,多渠道按优先级依次尝试;上游异常自动故障转移。
被动采集零额外 token 持续打分,可疑时用 20 题校准探针确认。
请求前把真实值替换为占位值,模型原样引用时交付前自动还原。
POST /v1/chat/completions、GET /v1/models、POST /v1/embeddings(OpenAI 兼容)POST /v1/responses(OpenAI 新接口)POST /v1/messages(Anthropic 兼容,Claude Code 原生格式)支持 Claude Code / Codex / Cherry Studio / Continue 以及各类 SDK。
model 精确匹配渠道;多渠道提供同模型时按优先级依次尝试/v1/models)两条腿走路:日常被动采集零额外 token,需要确认时用校准探针发题打分
日常使用中旁路记录,不需要额外发请求:
system_fingerprint —— 指纹种数多,说明后端可能不单一20 道内置确定性题(数学 / 代码执行 / 逻辑常识)向渠道真实发问、自动判分:
发往上游前替换,交付本地前还原 —— 真实值不出本机
按业务对象录入,保存即生效:
按形态识别并替换:
示例与文档段(如 example.com、文档专用 IP 段)自动豁免,不误伤示例代码。
发往上游前把真实值替换为占位值;模型原样引用占位值时,交付本地前自动还原成真实值。
引导模型把占位值当普通文本原样引用 —— 文案恒定,不影响多轮前缀缓存。
可查看本次运行拦截了哪些值、来源(资产 / 自动识别)、次数与最近时间; 调用详情里原始敏感值标红、替换值标黄。
出了问题看得到细节,花了多少算得清账
按日 / 渠道 / 模型统计请求数、错误数、输入输出 token 与流量,保留 30 天。
最近 500 条实时刷新;调用记录保留最近 1000 条,重启不丢。
本地原始请求 / 发往渠道(脱敏后)/ 渠道返回原文 / 交付本地(还原后)—— 四份原文对照。
按使用习惯选,功能一致
双击启动服务并自动打开浏览器,最轻量的使用方式。
llm-relay.exe
独立桌面窗口 + 系统托盘,关闭窗口后仍在后台运行。
系统托盘常驻
中文向导:可选安装位置与数据 / 日志保存位置;开始菜单与桌面快捷方式; 可卸载且不删数据;支持覆盖升级。
中文安装向导
Windows 10 / 11 · 中文安装向导,可选安装位置与数据 / 日志保存位置;覆盖升级不会删除数据。
SHA256:0c71f909bd7eaa7eef3ee05c69af7fa3ee3bc9cbe9ac454d26487a4676dea173
运行 llm-relay.exe,自动打开管理页。
http://127.0.0.1:8787
填写名称 + Base URL + API Key + 模型列表;可一键测试连通性、一键拉取模型。
改一处环境变量即可,所有工具共用同一个入口。
export ANTHROPIC_BASE_URL=http://127.0.0.1:8787 export ANTHROPIC_AUTH_TOKEN=你的访问Key
export OPENAI_BASE_URL=http://127.0.0.1:8787/v1 export OPENAI_API_KEY=你的访问Key
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8787/v1",
api_key="你的访问Key",
)
127.0.0.1),可改为局域网,但需自担风险并设置访问 Key。