OpenAI发布大规模无监督语言模型GPT-2
OpenAI于2019年2月14日发布GPT-2模型,这是一个大规模无监督语言模型,能够在无需任务特定训练的情况下生成连贯文本段落,并在多个语言建模基准上达到最先进水平,同时具备基本的阅读理解、机器翻译、问答和摘要能力。该模型展示了通用语言模型的潜力,但OpenAI因担忧滥用而最初仅发布小规模版本。
OpenAI于2019年2月14日发布GPT-2模型,这是一个大规模无监督语言模型,能够在无需任务特定训练的情况下生成连贯文本段落,并在多个语言建模基准上达到最先进水平,同时具备基本的阅读理解、机器翻译、问答和摘要能力。该模型展示了通用语言模型的潜力,但OpenAI因担忧滥用而最初仅发布小规模版本。
OpenAI公布首批暑期学员项目成果,6名零基础机器学习学员经6个月学徒训练,直接参与核心项目并成为贡献者。该项目证明高强度培训可快速培养AI人才,降低行业入门门槛。
OpenAI研究发现,梯度噪声规模这一简单统计指标可预测神经网络训练的并行化程度。复杂任务通常具有更嘈杂的梯度,因此未来大型批量训练可能更有用,消除了AI系统增长的一个潜在限制。该结果使神经网络训练不再是神秘艺术,而是可以系统化。
OpenAI开发了一种基于能量的模型,能在仅5次演示后快速学习识别和生成空间概念实例(如“靠近”、“上方”、“之间”等)。该模型还展示了跨域迁移能力:将2D粒子环境中学习的概念用于解决3D机器人物理任务。这标志着AI在少样本学习和概念抽象方面取得进展,可能推动机器人更高效地学习和适应新环境。
OpenAI提出一种名为“迭代放”的AI安全技术,旨在通过将任务分解为更简单的子任务,来指定超出人类规模的复杂行为和目标,而非依赖标注数据或奖励函数。目前该技术仅完成简单算法领域的玩具实验,仍处于早期阶段。值得关注的是,该方法或为可扩展的AI安全方案提供新路径。
OpenAI宣布2019年学者计划开放申请,将为6-10名来自弱势群体的个人提供全额津贴和导师指导,进行为期3个月的深度学习全日制学习,并鼓励开源项目。该计划旨在促进AI领域多样性。
OpenAI训练了一个类人机器人手,使其能够以前所未有的灵巧度操作物理物体。该成果标志着机器人操控能力的重要突破,为未来自动化应用提供了技术基础。