OpenAI 发布 InstructGPT 并设为 API 默认语言模型
北京时间 · UTC+8
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型，同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练，现已作为 OpenAI API 的默认语言模型部署。
AIHOT 精选理由原文说明了对齐训练带来的意图遵循与真实性改进，以及 InstructGPT 成为 API 默认模型这一关键落地变化。
AI PRICE SPY / INTELLIGENCE
精选归档
追踪 AI 更新，查看事件时间线和原始信源；需要做购买决策时，再去比价。
精选归档 · 4264
清除筛选当前公开精选集合，保留来源更正和撤回。最后同步：
OpenAI API 推出 text 和 code embeddings 新端点
北京时间 · UTC+8
OpenAI 在 API 中推出 embeddings 新端点，用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。
AIHOT 精选理由原文给出了新的 embeddings 端点及其适用任务，读者可据此判断能否用于搜索、聚类或分类类需求。
AIHOT 精选理由OpenAI 官方宣布以单条命令即可对 GPT-3 做应用定制微调，降低了把基座模型适配到具体业务场景的门槛。
AIHOT 精选理由原文说明开放原因是安全性进展，读者可以了解 OpenAI API 使用门槛的降低节点。
Hugging Face 推出 Spaces 功能，可用 Gradio 展示项目
北京时间 · UTC+8
Hugging Face 发布 Spaces 功能，用户可以在其中使用 Gradio 展示自己的项目。正文抓取失败，仅标题可用，更多细节以原文为准。
AIHOT 精选理由OpenAI 官方宣布 Codex 改进版上线 API 私测，读者可以据此了解自然语言转代码能力的开放入口。
OpenAI 开源 Triton 1.0：让研究者无需 CUDA 经验也能写高效 GPU 代码
北京时间 · UTC+8
OpenAI 发布 Triton 1.0，一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家手写代码相当。
AIHOT 精选理由官方发布口径直接点明了 Triton 的核心价值，让无 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 发表针对代码训练大语言模型的评估研究
北京时间 · UTC+8
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）
Transformer电路逆向工程练习题集
北京时间 · UTC+8
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
AIHOT 精选理由帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。
AIHOT 精选理由OpenAI 官方宣布文本生成图像模型 DALL·E，读者可据此了解文生图方向的早期源头。
OpenAI 发布 CLIP：连接文本与图像的神经网络
北京时间 · UTC+8
OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
AIHOT 精选理由原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准，读者可了解其与 GPT 系列零样本思路的关联。
AIHOT 精选理由官方宣布将 GPT-3 独家授权给 Microsoft 用于其产品和服务，读者可以了解当时大模型商业授权的早期形态。
研究人员与创始人
北京时间 · UTC+8
曾与创始人合作、现与研究人员共事的作者发现，尽管两类人差异显著，但顶尖者都思考"领域内最重要的问题"、兼具短期专注与长期视野、极度坚持、偏向行动、创意丰富且重视自主，动机常源于好奇心。
AIHOT 精选理由Sam Altman深度剖析顶尖研究者与创始人的共同特质
AIHOT 精选理由OpenAI 官方宣布开放 API 访问其新模型，原文虽短，但可直接了解其对外提供模型访问的方式。
如何获得创业想法
北京时间 · UTC+8
YC 曾实验资助无想法的优秀创始人，结果全部失败，证明创始人必须自身擅长产生想法。要身处正确环境：周围需有对未来敏感、乐观、想法丰富的人，远离愤世嫉俗者。关注重大结构性转变，区分真实与虚假趋势。评估想法时考虑能否做大、创始人与公司是否匹配，以及能否解释为何大多数人认为是坏主意但你看到价值。
AIHOT 精选理由Sam Altman 分享识别技术趋势的方法论，称适用于 AI 发展
OpenAI 发布论文 Language models are few-shot learners
北京时间 · UTC+8
OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。
OpenAI 分析：训练神经网络所需算力每 16 个月减半
北京时间 · UTC+8
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
AIHOT 精选理由OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码
北京时间 · UTC+8
OpenAI 发布 Jukebox，一个可直接以原始音频形式生成音乐的神经网络，支持多种流派和艺术家风格，包括初步的歌声。OpenAI 同时开源模型权重和代码，并提供探索生成样本的工具。
AIHOT 精选理由原文给出 Jukebox 以原始音频生成含人声音乐的核心能力，并说明开放模型权重与代码，读者可据此评估其可复用性。
如何用 Transformers 的不同解码方法生成文本
北京时间 · UTC+8
Hugging Face 发布教程，讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式，原文正文未能抓取，仅标题可用。
AIHOT 精选理由原文系统讲解 Transformers 中不同文本解码方法的用法与差异，读者可按需选择生成策略。
OpenAI 发现深度学习中的深度双下降现象
北京时间 · UTC+8
OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。
AIHOT 精选理由原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象，并把它列为值得进一步研究的方向。