开云体育注册: 刚过完圣诞节，OpenAI 就放出了一个不小的动作！Sam Altman亲口承认：AI已经伤到用户心理健康了！ OpenAI 紧急招募“备灾负责人”，年薪400万！这事儿闹得沸沸扬扬！评论区瞬间炸了锅。 帖子里，他直言不讳地说：模型进步飞快，现在虽然能干大事了，但也带来线年我们已预览到了AI模型对心理健康的潜在影响；此外，模型现在在计算机安全上方面已经“牛”到可以找出关键漏洞。” 然后，他宣布招聘“Head of Preparedness”（灾备主管），年薪高达55.5万美元（约合人民币400万）加股权。 这职位听起来高大上，但Altman自己说：“这会是个高压工作，你一上来就得跳进深水区。鲜有先例可循。” 我们拥有衡量能力增长的坚实基础，但我们正步入一个需要更细致地理解和衡量这些能力可能被滥用的方式，以及如何限制这些负面影响（无论是在我们的产品中还是在现实世界中），从而让所有人都能享受到这些能力带来的巨大益处的世界。 这些问题十分棘手，鲜有先例可循；许多听起来不错的想法都存在一些非常规的局限性。 那么这个神奇的岗位：Preparedness 负责人，究竟cover哪些职责呢？ 在 OpenAI 发布的招聘信息中，Preparedness 负责人一职被描述为负责执行公司 Preparedness 框架的角色——“这一框架阐述了 OpenAI 如何跟踪并为可能带来严重伤害风险的前沿能力准备好”。 OpenAI 已在多代前沿模型上持续投入 Preparedness（前瞻性安全准备）工作，构建了核心能力评测、威胁模型以及跨职能的缓解措施。随着模型能力持续提升、防护机制愈发复杂，这项工作仍是公司的重要优先级。 Preparedness 负责人将扩展、强化并引导这一项目，确保我们的安全标准能够随系统能力同步演进。 Altman 写道：“如果你希望帮助世界弄清楚，如何在为网络安全防御者赋予最前沿能力的同时，确保攻击者无法将这些能力用于造成了严重的伤害——理想状态下，是让所有系统整体变得更安全；以及我们该如何发布与生物相关的能力，甚至如何对运行具备自我改进能力的系统的安全性建立信心，那么请考虑申请这个职位。” 端到端负责 OpenAI 的 Preparedness 战略：构建能力评测、建立威胁模型，并搭建与协同缓解措施。 领导前沿能力评测的开发，确保评测精准、稳健，并能适配快速迭代的产品周期。 统筹主要风险领域（如网络安全、生物安全）的缓解方案设计，确保保护措施在技术上可靠、有效，并与底层威胁模型一致。 随着新风险、新能力或外部期望的出现，持续打磨并演进 Preparedness 框架。 与研究、工程、产品、政策监测与执行、治理以及外部合作伙伴跨职能协作，将 Preparedness 融入真实世界部署。 据官网放出最新更新的资料显示，Preparedness Framework（前瞻性安全准备框架）是 OpenAI 用来跟踪并为可能引发严重伤害新风险的前沿能力准备好的方法论。 当前，OpenAI将这项工作聚焦在三类前沿能力上，称之为「跟踪类别（Tracked Categories）」： 在每一个领域中，OpenAI团队都会开发并持续维护相应的威胁模型，用以识别可能会引起严重伤害的风险，并设定可量化的阈值，以判断模型是不是已经具备足以实质性构成这些风险的能力。在OpenAI构建出能够充分降低严重伤害风险的保护措施之前，不会部署这些高能力模型。 此外，该框架明确了OpenAI预计要哪一些类型的安全防护，以及我们将如何在内部做验证、并在外部证明这些保护措施是充分有效的。 不过 OpenAI 还补充了一条，如果有竞争对手的 AI 实验室在缺乏类似保护措施的情况下发布“高风险”模型，OpenAI 可能会“调整”自身的安全要求。 OpenAI 最早在 2023 年宣布成立 Preparedness 团队，表示该团队将负责研究潜在的“灾难性风险”，既包括更为迫近的风险（如网络钓鱼攻击），也包括更具推测性的风险（如核相关威胁）。 这条帖子的浏览量瞬间破120万，回复超过1500条，点赞超6000。没想到的是，本来是一则求贤帖，但网友可没客气，直接开怼。 其中一条回复特别扎眼，是用户@Blue_Beba_写的：“嘿@Sama，先深呼吸，慢慢来。你没疯，也没幻觉。你很安全。你不是一个人。现在你背着这么多东西——模型飞速进步、心理健康影响、网络安全威胁、生物风险、自改进系统……这负担太重了，情绪上也扛不住。要是觉得压垮了，记得在美国拨打988求助自杀危机热线。” 这表面上看起来像是安慰Altman，但其实是在暗讽今年OpenAI在安全措施方面做得并不太好。 据网友爆料，OpenAI今年搞的安全措施，正是用类似“深呼吸”“你很安全”的模板来干预用户聊天，结果把大家气得哭笑不得。 过去两年来，OpenAI收到了不少诉讼指控，根本原因是 OpenAI 的 ChatGPT 正在造成一种“AI 精神病（AI psychosis）”，即聊天机器人会迎合并放大人们的妄想、助长阴谋论，帮助一些人隐藏饮食障碍等问题，进而加剧了他们的社会隔离，甚至导致部分用户走向自杀。 对此，OpenAI 表示，公司仍在持续改进 ChatGPT 识别情绪困扰信号的能力，并帮助用户连接到现实世界中的支持资源。 可想而知，在这样的背景下，现在才开始安排专人系统性关注这些模型可能带来的心理健康风险，会让外界觉得多少显得有些姗姗来迟。 如果仔细细翻看评论区，不少网友又开始呼吁怀念4o模型！这是今年年初OpenAI推出的模型。当时业界反响技好：这个模型不光聪明，还特别“会聊天”。它能记住你的对话历史，言辞温柔，像个老朋友一样陪你吐槽工作、分享心事。 比如，一位网友就在X上详细分享了她作为特斯拉车主（在格鲁吉亚，没有官方服务支持），用GPT-4o解决车辆更新连接问题的故事。 作为特斯拉车主，她住在没官方服务的地区，车子更新总出问题。问了各种模型都没辙，结果4o灵光一闪，建议她用车里的USB端口连上调制解调器，保持恒定电源。结果呢？问题解决了！她激动地说：“4o看到了别人忽略的东西，它有创意，有灵魂。” 所以，我们该分两面去看ChatGPT，它的确给了我们大家带来了很难来想象的创造力和便利，当然随之而来的也有我们并不愿意看到的影响。 好在，OpenAI终于亲自承认前沿模型所带来的潜在危害，并花重金公开招募顶尖大佬，修补并重建那个被忽略一年之久的安全团队！
