AI安全

Anthropic 最新发布的 Claude Fable 5 虽自称最强 AI，却因过于保守的安全策略，将大量基础生物学和日常医学问题（如线粒体、花粉症）也一并屏蔽，转而由旧模型 Opus 4.8 回答。公司承认这是为防止生物武器风险而做的取舍。 #AI 安全# #人工智能#

奈特在社交平台 X 上发文，回顾自己自 2020 年加入 OpenAI 以来的经历。当时，他是 OpenAI 的首位安全岗位员工，而公司还只是一个小型研究实验室，刚推出 GPT-3 以及实验性 API。

AI先驱、2018 年图灵奖得主约书亚・本吉奥警告，赋予AI权利将是一次危险的误判。在AI已经显现出自我保护行为的背景下，人类必须准备好在必要时关闭系统、拔掉电源。

在美国青少年精神健康问题日益严峻的背景下，风险尤其突出。一名华盛顿州的青少年此前因与 ChatGPT 反复交流而陷入妄想，最终自杀。类似悲剧已多次被归因于 OpenAI 的产品。

美国联邦贸易委员会（FTC）要求七家 AI 聊天机器人公司提交资料，说明它们如何评估虚拟陪伴对儿童和青少年的影响。

随着智能手机和物联网设备普及，移动端 AI 成为趋势，带来离线运行、低延迟、隐私保护等优势。然而，模型本地存储同时带来了严重风险。