人工智能促进会：AI研究的未来

人工智能促进会发布了新报告“AI研究的未来”。推理一直被视为人类智能的核心特征。推理用于从给定的基础知识中推导出新信息；当使用可靠的正式推理时，这些新信息保证是正确的，否则它只是看似合理。

AI研究已经催生了一系列自动推理技术。这些推理技术催生了AI算法和系统，包括SAT、SMT和约束求解器以及概率图模型，所有这些都在关键的现实世界应用中发挥着重要作用。

虽然大型预训练系统（如LLMs）在推理能力方面取得了令人印象深刻的进展，但仍需要更多的研究来保证它们执行的推理的正确性和深度；这种保证对于自主操作的AI代理尤为重要。

如果一个AI系统避免输出虚假陈述，那么它就是事实性的。基于神经网络的大型语言模型的AI系统的事实性改进可以说是当今AI研究中最大的行业。

可信度扩展了信任标准，包括人类可理解性、鲁棒性和人类价值观的融入。缺乏可信度一直是AI系统在关键应用中部署的障碍。

提高AI系统事实性和可信度的方法包括微调、检索增强生成、机器输出的验证以及用简单易懂的模型替换复杂模型。

多代理系统已经从基于规则的自主性演变为协作AI，强调协作、谈判和伦理对齐。

由LLMs驱动的代理AI的兴起为灵活决策带来了新的机会，但也带来了效率和复杂性方面的挑战。

将协作AI与生成模型集成需要在多代理环境中平衡适应性、透明性和计算可行性。

AI系统引入了独特的评估挑战，远远超出了标准软件验证和验证方法的范围。

需要新的见解和方法来评估AI系统，以提供可信、大规模部署的保证。

AI的快速发展使得伦理和安全风险更加紧迫和相互关联，而我们目前缺乏技术和监管机制来解决这些问题。

新兴威胁需要立即关注，新AI技术的伦理影响也是如此。伦理和安全挑战需要跨学科合作、持续监督和更明确的AI开发责任。

​文档链接将分享到199IT知识星球，扫描下面二维码即可查阅！