共享 LLMs,而不是 API 密钥

Mesh nodes 暴露自己的 LLM providers,但不会泄露 credentials。使用签名 invite tokens 加入,甚至可以用 QR codes。

工作原理

每个 mesh node 都运行一个 ProviderHostActor,将本地 LLM providers 暴露给网络。

Remote nodes 通过 MeshChatProvider 路由 chat requests。

网络中只传输 chat messages 和 responses,API 密钥 永远不会离开 host machine。

安全模型

主机
ProviderHostActor (运行 LLM)
API Key 留在这里
Invite: ed25519 signed grant
↔ ChatMessage
访客机
MeshChatProvider (代理)
无需 API key
Token 可离线验证

开始使用

# Host: 生成 invite
qmtcode --mesh --mesh-invite="Team" --invite-uses=5 --invite-ttl=7d

# Guest: 加入 mesh
qmtcode --mesh-join=qmt://mesh/join/BASE64TOKEN

# Guest 的 agent 通过 DHT 自动发现 providers
# routing 是透明的 — 无需 config

关键属性

  • 不暴露凭证: API 密钥永远不会离开主机。访客节点发送的是聊天消息,而不是凭证。
  • 签名 invite tokens: ed25519-signed grants。可离线验证。无需向 central server 发起 network call。
  • 使用限制: 每个 invite 都有最大使用次数和 TTL,并会自动过期。
  • 按 invite 撤销: 从主机的 InviteStore 删除 invite_id,即可立即撤销。
  • QR codes: Invite tokens 可以编码成 QR codes,方便当面分享。
  • DHT 发现: 访客节点通过 Kademlia DHT 发现提供商,无需手动配置 endpoint。

查看实战

查看 Credentialless GPU Sharing showcase 获取完整演练。