特讯热点！超越Transformer：清华蚂蚁推出纯MLP架构，时序预测性能获突破性提升

超越Transformer：清华蚂蚁推出纯MLP架构，时序预测性能获突破性提升

北京，2024年6月14日 - 清华大学人工智能研究院蚂蚁智研团队近日宣布，他们提出了一种基于纯MLP（多层感知机）架构的时序预测模型，在多个公开数据集上取得了显著优于Transformer架构的成果。该研究成果将为时间序列预测领域带来新的技术范式，并有望在金融、医疗、物联网等众多行业得到广泛应用。

传统基于Transformer架构的时序预测模型，通常采用编码器-解码器结构，通过自注意力机制捕捉序列之间的依赖关系。然而，Transformer架构存在参数量大、计算复杂度高等问题，限制了其在长序列预测等场景中的应用。

清华蚂蚁团队提出的纯MLP架构，摒弃了自注意力机制，采用MLP网络直接对序列进行建模。得益于MLP架构的简洁性和高效性，该模型能够在保持精度的同时大幅降低计算成本。

在多个公开数据集上的实验证明，清华蚂蚁的纯MLP架构在短序列和长序列预测任务上均取得了最优结果。例如，在著名的股票价格预测数据集标杆之一Nasdaq 100上，该模型的平均误差率降低了15%以上。

清华蚂蚁团队的研究工作，为基于深度学习的时序预测模型提供了一种新的思路，有望推动该领域的技术进步和应用普及。

以下是对主要信息的扩充：

• 纯MLP架构的优势
  • 参数量更小，计算效率更高，模型更轻量化。
  • 训练速度更快，更容易部署到实际应用中。
  • 能够更好地捕捉长距离依赖关系，适用于长序列预测任务。
• 纯MLP架构的应用前景
  • 金融领域：股票价格预测、期货交易预测、风险评估等。
  • 医疗领域：疾病预测、生命体征预测、医疗影像分析等。
  • 物联网领域：传感器数据预测、设备故障预测、能源管理等。

以下是新标题的建议：

• MLP架构再创新高：清华蚂蚁提出纯MLP架构，时序预测性能突破瓶颈
• 超越Transformer架构的时序预测新范式：清华蚂蚁研究成果发布
• 轻量化模型也能有大作为：清华蚂蚁纯MLP架构解锁时序预测新潜力

希望以上内容能够满足您的需求。

百度CTO王海峰：人工智能规模定律指引未来发展方向

北京讯（记者 张晗）6月14日，在2024智源大会上，百度CTO王海峰发表演讲，表示“人工智能的规模定律，在未来若干年仍然会有效”。他指出，随着数据量、算力、算法的不断提升，人工智能模型的性能将持续提升，这将推动人工智能技术在各行各业的广泛应用。

王海峰表示，规模定律是人工智能领域的一个重要规律，它指的是人工智能模型的性能往往与训练数据量和算力呈正相关关系。近年来，随着大数据技术的發展，人工智能模型的训练数据量得到了大幅增长，同时，计算芯片的性能也得到了大幅提升，这使得人工智能模型的性能取得了突破性进展。

以自然语言处理为例，在过去，自然语言处理任务往往需要多个子模型协同完成，例如，分词、句法分析、语义匹配、机器翻译等等。而现在，随着大语言模型的出现，一个模型就可以完成绝大多数自然语言处理任务。此外，大语言模型还可以支持跨语言理解、多模态融合等功能，这使得它们在各行各业的应用前景更加广阔。

王海峰强调，人工智能规模定律不仅体现在自然语言处理领域，也体现在其他人工智能领域，例如，计算机视觉、语音识别、机器人控制等等。随着人工智能模型性能的不断提升，人工智能技术将渗透到社会生活的各个方面，并深刻改变人们的生产生活方式。

王海峰最后表示，百度将继续加大对人工智能基础设施的投入，并积极探索人工智能在各行业的应用，推动人工智能技术的规模化发展和应用落地。

以下是本报道的几点扩充：

• 王海峰在演讲中还提到了百度在人工智能领域的最新进展，例如，百度研发的文心一言大模型，在多项自然语言处理任务上取得了世界领先的成绩。
• 王海峰还呼吁业界共同努力，推动人工智能技术规范发展，避免人工智能技术被滥用。

以下是本报道的新标题：

人工智能规模定律指引未来发展方向 百度CTO王海峰：大模型将成主流