METR 发布 RE-Bench:对比语言模型智能体与人类专家的 AI 研发能力
METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
AIHOT 精选理由原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
追踪 AI 更新,查看事件时间线和原始信源;需要做购买决策时,再去比价。
当前公开精选集合,保留来源更正和撤回。最后同步:
METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
AIHOT 精选理由原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
DeepSeek 上线推理模型预览版,其推理性能与 OpenAI 的 o1-preview 相当,并公开了模型的完整思维链。
AIHOT 精选理由虽然已是旧闻,但 DeepSeek 首次公开推理模型完整思维链,对理解 o1 类模型的内部机制是个重要线索,做推理模型研究的值得回看。
Hugging Face 发布 Argilla 2.4,用户可从 Hub 任一公开数据集无代码导入,通过 Argilla UI 定义问题并收集人工反馈,用于构建微调和评估数据集。Hub 现有 230k 数据集可作为起点,部署在 Spaces 上默认启用 Hugging Face OAuth,允许任何 Hub 用户参与标注,也可配置为仅限协作者;后续仍可用 Python SDK 做进一步自定义。
AIHOT 精选理由官方介绍了从 Hub 数据集无代码导入并收集人工反馈的完整流程,熟悉数据标注协作场景的读者可据此评估是否迁移现有工作流。
xAI 启动 Grok API 公测,发布新模型 grok-beta,支持 128k 上下文、函数调用及系统提示,视觉版本下周上线。开发者每月可获 $25 免费额度至年底,已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式,修改 base_url 即可迁移。
AIHOT 精选理由xAI开放Grok API公测,每月送$25额度且兼容OpenAI接口,开发者可立即体验
OpenAI 推出 ChatGPT search,为 ChatGPT 增加搜索功能,可提供快速、及时的答案,并附上相关网页来源链接。
AIHOT 精选理由原文信息过少,无法给出具体阅读价值。
ARC Prize 团队于 2024 年 10 月 24 日举办线上活动,说明为何单靠深度学习难以攻克 ARC-AGI,并提出结合深度学习与程序合成的技术路线。
AIHOT 精选理由Chollet 和 Knoop 系统论述 LLM 局限于记忆技能、需结合程序合成才能胜出 ARC-AGI 的技术路径,为理解智能与抽象层次提供了可迁移的分析框架。
本文介绍了一种新型的稀疏交叉编码器,它能够同时读取和写入神经网络多个层的激活值,从而提取跨层的共享特征。其主要应用包括:解决跨层叠加问题,追踪残差流中的持久特征;通过消除“重复特征”和跨越无意义的连接来简化电路分析;以及为不同训练阶段或不同架构的模型生成共享特征集,以实现模型差异比较。初步实验验证了其在处理跨层叠加和模型比较方面的潜力。
AIHOT 精选理由Anthropic 提出跨层可解释性新方法,有望大幅简化大模型内部电路分析
Dario Amodei 发布文章《Machines of Loving Grace》,论述 AI 如何在医疗、贫困、气候等关键领域推动积极变革,描绘技术驱动的乐观未来图景。
AIHOT 精选理由Dario Amodei 发布重磅长文,阐述 AI 如何造福世界
AIHOT 精选理由原文来自 OpenAI 官方发布,读者可据此了解 ChatGPT 在写作和编码场景上的新交互方式。
OpenAI 推出 Realtime API,开发者现在可以在应用中构建快速的语音到语音(speech-to-speech)体验。
AIHOT 精选理由原文宣布 Realtime API 开放,开发者可以把快速语音到语音体验直接构建进应用。
OpenAI 宣布微调 API 支持视觉能力,开发者现可用图像和文本对 GPT-4o 进行微调,以提升其视觉表现。
AIHOT 精选理由官方宣布微调 API 支持图文混合数据微调 GPT-4o,开发者可据此定制模型的视觉能力。
OpenAI 在 API 中推出 Prompt Caching 功能,对模型最近见过的输入内容自动提供折扣。该功能面向 API 用户,可降低重复前缀类请求的输入成本。
AIHOT 精选理由官方宣布 API 上线模型蒸馏功能,读者可据此了解用大模型输出微调低成本模型的路径。
OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码,并支持鱼叉式钓鱼活动。
AIHOT 精选理由作为当事方封禁通告,说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
AIHOT 精选理由官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
AIHOT 精选理由Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
Runway 与 Lionsgate 达成首创性合作,基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型,供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑,双方未来计划向个人创作者开放模型授权。
AIHOT 精选理由Runway与好莱坞大厂达成首个定制模型合作,标志AI视频正式进入主流影视工业化流程
Anthropic可解释性团队在2024年9月分享了其初步研究进展,重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列(如数字、星期、月份)中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别,其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果,预计未来几个月将发表更详细的研究。
AIHOT 精选理由揭示Transformer内部机制,助力AI可解释性研究,对模型调试和安全有参考价值。
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。
AIHOT 精选理由ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。