Mesh LLM：用 iroh 实现分布式 AI 计算
Mesh LLM 是一个分布式 AI 计算框架，旨在让用户利用已有的多台机器的 GPU 和内存，共同运行大型语言模型。它暴露一个 OpenAI 兼容的 API（http://localhost:9337/v1），因此任何 OpenAI 客户端都可以直接使用。
架构上，Mesh LLM 采用插件化设计，每个节点通过 iroh 端点标识身份（公钥），无中心服务器。请求有三种处理方式：本地运行、路由到已加载模型的对等节点、或跨多台机器分片（Skippy 模式）。Skippy 模式将模型按层范围分区，例如节点 A 运行 0-15 层，节点 B 运行 16-31 层，激活值在节点间传递，使得多台普通机器能运行单台无法承载的大模型。
项目支持 40+ 模型，从 0.5B 参数的小模型到 235B 参数的混合专家模型。Mesh LLM 强调控制权、隐私和成本优势，适合希望摆脱云 API 依赖的团队。
关键信息
- Mesh LLM 将多台机器的 GPU 和内存聚合成一个 OpenAI 兼容 API。
- 支持三种运行模式：本地、路由到对等节点、跨机器分片（Skippy）。
- 基于 iroh 网络层，无中心服务器，节点身份由公钥标识。
- 支持 40+ 模型，参数范围 0.5B 到 235B。
- 所有请求通过 localhost:9337/v1 处理，客户端无需感知后端分布。
Mesh LLM is a different shape. It pools the GPUs and memory you already have, across as many machines as you want to add, and exposes the whole thing as one OpenAI-compatible API.
Mesh LLM 是一种不同的形态。它将你已有的 GPU 和内存汇集起来，跨越任意数量的机器，并将整个系统暴露为一个 OpenAI 兼容的 API。
Hacker News
为什么上榜
如果你希望用自有硬件运行大模型，Mesh LLM 提供了去中心化的分布式方案。
每天早上，把当日 AI 精选送进你的邮箱
公众号 AI去噪 · 每日一期同步推送
