大语言模型

一项名为 Flash-MoE 的开源项目成功在仅 12GB 内存的 iPhone 17 Pro 上运行 4000 亿参数大语言模型。虽每秒仅生成 0.6 个 Token，速度极慢，但证明手机本地运行大模型在技术上是可行的，关键在于利用 SSD 向 GPU 流式传输数据。未来优化后，手机端本地运行大模型或成现实。#AI 手机# #本地大模型#

牛津大学等机构研究发现，多数大语言模型测试标准存在方法论缺陷，如术语模糊、数据采样不当等，导致AI进步难以客观衡量。研究建议明确定义目标、防止数据污染等改进措施。#AI测试标准##大语言模型#

Meta 今晚发布 Llama 3.1 开源大语言模型，提供 8B、70B 及 405B 参数版本，改进了推理能力及多语言支持，上下文长度提升至 128K。