不只转发,还能验真与脱敏的本地模型中转

LLM Relay 把手上各个渠道(官方 API、各类中转站)统一成一个本机入口: 你常用的工具只需改一处地址就能全部接上,以后换渠道也不用逐个工具改配置。

除了转发,它还多两件事 —— 模型验真:判断渠道给的模型有没有注水; 隐私脱敏:把敏感信息在本机替换掉再发出去,模型引用后交付前自动还原。 配置、日志、统计、验真记录全部留在你自己的电脑上。

One local gateway for every channel Route, verify, and redact — locally

你可能正在遇到的 三件事

渠道配置到处都是

手里有多个渠道 / 中转站,每个工具都要单独改一遍配置;换一个渠道,要改 N 个地方。

不知道对面给的是不是它

在中转站调用,不确定有没有被「换成便宜的模型」,也不知道该从哪里验证。

怕敏感信息流出去

需要把服务器信息、密钥喂给 AI,但担心真实 IP、密码、Key 明文流向不可控的上游。

核心能力

统一入口 / 渠道编排 / 模型验真 / 隐私脱敏 —— 四件事在同一个本机程序里完成

统一入口

双协议兼容,本地工具只需把 base URL 指到本机,换渠道只改一处。

渠道编排

按 model 精确匹配渠道,多渠道按优先级依次尝试;上游异常自动故障转移。

模型验真

被动采集零额外 token 持续打分,可疑时用 20 题校准探针确认。

隐私脱敏

请求前把真实值替换为占位值,模型原样引用时交付前自动还原。

统一入口:双协议兼容

  • POST /v1/chat/completions、GET /v1/models、POST /v1/embeddings(OpenAI 兼容)
  • POST /v1/responses(OpenAI 新接口)
  • POST /v1/messages(Anthropic 兼容,Claude Code 原生格式)
  • 本地工具只要把 base URL 指到本机即可,无需逐工具改造

支持 Claude Code / Codex / Cherry Studio / Continue 以及各类 SDK。

多渠道编排

  • 按请求里的 model 精确匹配渠道;多渠道提供同模型时按优先级依次尝试
  • 上游 429 / 5xx / 连不上 → 自动故障转移到下一个渠道
  • 兜底渠道:接收所有未匹配的模型
  • 渠道级配置:启用 / 停用、超时、鉴权方式、备注
  • 一键「测试」连通性、一键「拉取模型」(自动合并 /v1/models)

模型验真 · 差异化核心

两条腿走路:日常被动采集零额外 token,需要确认时用校准探针发题打分

① 被动采集(零额外 token)

日常使用中旁路记录,不需要额外发请求:

  • 上游回显的 model 名 —— 与请求名不一致即为疑似换模型
  • system_fingerprint —— 指纹种数多,说明后端可能不单一
  • 提示词 token 密度 —— 同分词器模型密度稳定,突变可疑
  • 推理痕迹 —— 思考型模型是否出现 reasoning 内容
  • 相同提示词两次上报的 token 是否一致

② 校准探针(手动开启)

20 道内置确定性题(数学 / 代码执行 / 逻辑常识)向渠道真实发问、自动判分:

  • 逐题回答、期望值、回显模型都可查
  • 按「渠道 × 模型」维度给出 正常 可疑 积累中 判定
  • 保留告警历史,便于回溯渠道变化
ℹ️
验真是概率性信号 + 探针兜底,显著提高识别能力,不承诺 100% 检测出所有注水模型。

隐私脱敏 · 第二个差异化核心

发往上游前替换,交付本地前还原 —— 真实值不出本机

隐私资产(结构化登记)

按业务对象录入,保存即生效:

  • 服务器信息:名称 / IP·域名 / 端口 / 账号 / 密码 / 备注
  • 密钥管理:名称 / 提供方 / API Key / Base URL
  • 数据库:主机 / 端口 / 库名 / 账号 / 密码
  • 其他:自定义键值(可指定替换值)

自动识别脱敏(无需预置)

按形态识别并替换:

IPv4 IPv6 邮箱 中国大陆手机号 MAC API Key 形态(sk- / AKIA / JWT / 长随机串) host:port

示例与文档段(如 example.com、文档专用 IP 段)自动豁免,不误伤示例代码。

双向闭环

发往上游前把真实值替换为占位值;模型原样引用占位值时,交付本地前自动还原成真实值。

固定系统提示

引导模型把占位值当普通文本原样引用 —— 文案恒定,不影响多轮前缀缓存。

替换记录与高亮

可查看本次运行拦截了哪些值、来源(资产 / 自动识别)、次数与最近时间; 调用详情里原始敏感值标红、替换值标黄。

⚠️
诚实说明:脱敏 ≠ 加密。它防的是「真实值直接明文流向上游」; 替换值形态可被上游推断「此处已掩码」,也挡不住恶意上游的侧信道。 高价值系统建议配合最小权限与渠道信任评估。

观测与审计

出了问题看得到细节,花了多少算得清账

用量统计

按日 / 渠道 / 模型统计请求数、错误数、输入输出 token 与流量,保留 30 天。

请求日志

最近 500 条实时刷新;调用记录保留最近 1000 条,重启不丢。

调用详情四视图

本地原始请求 / 发往渠道(脱敏后)/ 渠道返回原文 / 交付本地(还原后)—— 四份原文对照。

本机管理台

  • 8 个功能页:概览 / 渠道 / 模型路由 / 用量 / 验真 / 安全 / 设置与接入 / 日志
  • 左侧导航 + 深色主题,打开即用,不依赖任何外部服务
  • 未配置时的「快速上手」引导卡可点击直达对应页面
  • 访问 Key 支持一键生成随机值

使用与配置

  • 数据目录可自选:安装时指定,也可启动时调整
  • 访问 Key 鉴权、渠道超时等都可以在管理台改
  • 流式内容可读化:把流式输出拼成完整回答,推理片段可折叠
  • 工具调用参数自动拼好并格式化
  • 升级后刷新即生效,不需要手动清缓存

三种交付形态

按使用习惯选,功能一致

1

控制台版

双击启动服务并自动打开浏览器,最轻量的使用方式。

llm-relay.exe
2

桌面版

独立桌面窗口 + 系统托盘,关闭窗口后仍在后台运行。

系统托盘常驻
3

安装包

中文向导:可选安装位置与数据 / 日志保存位置;开始菜单与桌面快捷方式; 可卸载且不删数据;支持覆盖升级。

中文安装向导

下载安装包

Windows 10 / 11 · 中文安装向导,可选安装位置与数据 / 日志保存位置;覆盖升级不会删除数据。

版本 0.6.7 4.47 MB LLM-Relay-Setup-0.6.7.exe
下载安装包

SHA256:0c71f909bd7eaa7eef3ee05c69af7fa3ee3bc9cbe9ac454d26487a4676dea173

三步上手

1

启动

运行 llm-relay.exe,自动打开管理页。

http://127.0.0.1:8787
2

添加渠道

填写名称 + Base URL + API Key + 模型列表;可一键测试连通性、一键拉取模型。

3

把本地工具指向本机

改一处环境变量即可,所有工具共用同一个入口。

环境变量接入

Claude Code
export ANTHROPIC_BASE_URL=http://127.0.0.1:8787
export ANTHROPIC_AUTH_TOKEN=你的访问Key
Codex / OpenAI 兼容工具
export OPENAI_BASE_URL=http://127.0.0.1:8787/v1
export OPENAI_API_KEY=你的访问Key

SDK 接入

Python
from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8787/v1",
    api_key="你的访问Key",
)
ℹ️
管理台与 API 默认只在本机可访问(127.0.0.1)。如需跨机使用,需自行开放并设置访问 Key, 并自行承担相应风险。

常见问题

它和常见的模型转发平台有什么区别?
常见的转发平台面向多用户、多租户,需要单独部署服务与数据库; LLM Relay 面向单机个人,装完就能用, 且额外提供模型验真与隐私脱敏这两项能力。
它和配置切换类工具有什么区别?
切换类工具只改配置文件、不转发流量;LLM Relay 是自带转发能力的本机网关, 因此才能做日志、统计、脱敏和验真。
验真是怎么判断模型注水的?
两条腿:① 被动采集日常请求里的回显模型名、指纹、token 密度、推理痕迹; ② 需要确认时用校准探针发 20 道确定性题打分。两者结合给出「正常 / 可疑 / 积累中」判定。
脱敏会不会影响模型正常使用?
不会。发给模型的是占位值,模型原样引用占位值时会被还原成真实值再交付给你; 并且会注入一段固定系统提示,告诉模型照抄即可、不要校验或猜测。
脱敏能保证绝对安全吗?
诚实地说:脱敏 ≠ 加密。它防的是「真实值直接明文流向上游」; 替换值形态可被上游推断「此处已掩码」,它也挡不住恶意上游的侧信道。 高价值系统建议配合最小权限与渠道信任评估。
数据存在哪?会上传吗?
全部在本机:配置、日志、统计、验真记录都落在你选定的数据目录(安装时可指定)。 管理台与 API 默认只在本机可访问(127.0.0.1),可改为局域网,但需自担风险并设置访问 Key。
支持哪些系统?
Windows 10 / 11。桌面版使用系统自带的 WebView2 运行时(Win10 / 11 已内置,无需另外安装)。

把模型的「真实性」和数据的「安全性」握在自己手里

当前版本 v0.6.7 · 本机运行 · 数据不出机器