AIHacker News 高分 · 2 分钟
RTX 4090 跑 125B 大模型达 100T/s
开源项目 Strata 让消费级显卡 RTX 4090 跑通 125B 参数大模型,推理速度达 100 tokens/秒,个人开发者本地部署大模型门槛再降。
- 项目名 Strata,作者 Niko1221,已开源在 GitHub
- 用单张 RTX 4090(约 1.6 万元)跑 125B 参数模型
- HN 559 分 269 评论,社区关注度极高
开源项目 Strata 让消费级显卡 RTX 4090 跑通 125B 参数大模型,推理速度达 100 tokens/秒,个人开发者本地部署大模型门槛再降。
GitHub 项目 RemoveMacAI 可关闭 macOS 27 的 Apple Intelligence 并释放被占用的磁盘空间,HN 285 分热议。
HN 热帖 272 赞 281 评论,讨论开发者为何宁愿自建轮子也不用平台自带能力,对独立开发者选型有参考。