Mesh LLM:用 iroh 实现分布式 AI 计算

Hacker News

Mesh LLM 是一个开源项目,旨在将多台机器的 GPU 和内存聚合成一个统一的 OpenAI 兼容 API。它允许用户在自己的硬件上运行大型语言模型,无需依赖数据中心。模型可以在本地运行、路由到对等节点,或跨多台机器分片(Skippy 模式)。项目基于 iroh 网络层,无中心服务器,支持 40+ 模型,从 0.5B 到 235B 参数。

为什么上榜

如果你希望用自有硬件运行大模型,Mesh LLM 提供了去中心化的分布式方案。

每天早上,把当日 AI 精选送进你的邮箱

公众号 AI去噪 · 每日一期同步推送

AI去噪公众号二维码