多模态大模型评测技术：如何构建科学客观的评估体系？

本篇文章的部分核心观点、图表及数据，出自中国移动通信研究院于2024年10月14日发布的报告《宏观研究-『弈衡』多模态大模型评测体系白皮书（2024年）》，如需获得原文，请前往文末下载。

随着人工智能技术的快速发展，多模态大模型已成为AI领域的核心技术之一，它们在自然语言处理、计算机视觉等领域展现出革命性的变革能力。这些模型通过整合图像、文本、视频和音频等多模态数据，不仅提升了跨模态理解能力，还增强了高精度识别与理解能力、泛化能力以及丰富的表达和交互体验。然而，如何客观、科学地评测这些多模态大模型的性能和潜力，成为了业界关注的热点问题。

关键词：多模态大模型、评测体系、人工智能、跨模态理解、评测技术

一、多模态大模型的发展现状与评测需求

多模态大模型的发展现状令人瞩目。自2017年Transformer模型提出以来，大模型技术以其超凡性能迅速成为科技焦点。2023年初，GPT-4的问世更是在全球范围内引起了巨大反响，标志着大模型技术首次进入公众视野。这些大模型不仅在日常生活中的辅助作画、图片解读等场景中展现出应用潜力，更在视频数据分析、多目标识别等生产领域发挥着重要作用。目前典型的多模态大模型有国外的GPT-4Vision、Gemini，国内的文心一言、讯飞星火、智谱清言等。这些大模型算法各异，在不同的任务场景下各有优劣，如何对这些多模态大模型开展客观、科学的评测，评估特定任务场景下的最优选择，对大模型的研发迭代以及应用落地都具有重要意义。

在评测需求方面，多模态大模型具备对文本、图像、视频和音频等数据进行综合处理的能力，在生产生活领域中具有广泛的应用前景。同时，多模态大模型评测面临评测数据更多样、评测任务更丰富、评测方式更复杂、评测成本更昂贵等挑战。如何应对上述挑战，构建全面、客观的多模态大模型评测体系，成为业界关注的热点问题。目前，部分业界企业和研究机构，如微软、谷歌、智源研究院、上海AI实验室、腾讯优图实验室、厦门大学、南洋理工大学等，发布了相关论文、评测报告，从性能、参数量等维度对业界主流多模态大模型进行了评测，并基于评测结果形成了榜单，如MMbench、MME等。

二、“弈衡”多模态大模型评测体系的构建

为了构建一个科学、客观、公正的评测基线，中移智库发布了《“弈衡”多模态大模型评测体系白皮书（2024年）》，旨在为多模态大模型的评测场景、评测指标、评测方式等提供参考基准。本白皮书聚焦于文生图、图生文、图文理解等各类应用场景，深入分析多模态大模型的应用需求，系统总结行业典型评测体系，并创新地提出“弈衡”多模态大模型评测体系。

“弈衡”多模态大模型评测体系采用“2-4-6”层级架构，包含2类评测场景、4项评测要素以及6种评测维度，从功能、性能、可靠性、安全性、交互性等方面对图文大模型的图文理解能力进行全方位评测。这一体系的提出，不仅为业界提供了一套科学、系统、可操作的图文双模态大模型评测框架，而且促进了技术的健康发展与广泛应用，进一步加速了人工智能技术在各行各业的深度融合与创新实践。

在评测场景方面，体系综合考虑现有的图文大模型应用场景，依据任务性质、技术难度与复杂度、应用场景以及知识要求，将图文大模型评测任务分为基础任务和应用任务两类。基础任务主要关注图文结合的各类通用任务场景，而应用任务则更加注重从业务场景出发，考察图文大模型在特定场景下的实际应用能力。

在评测要素方面，体系的评测四要素包括评测方式、评测指标、评测数据和评测工具。评测方式重点考虑测试样本构造和测试结果判断两个方面，而评测指标则根据任务特性将评测指标分为客观和主观两大类。评测数据构建时，须遵循丰富性、公平性和准确性三项核心原则，全面考察图文大模型的综合能力。评测工具则为用户提供了一个全面、高效、智能的评测解决方案，具有“2-4-6”多维度评测体系、业界领先的自动化评测能力、用户友好的“一键测试”功能、高可拓展性等多项优势。

在评测维度方面，体系从功能性、准确性、可靠性、安全性、交互性、应用性六大维度对大模型进行评测，确保覆盖各类任务类型和应用场景，真实评估图文大模型实际应用中的能力表现。

三、评测技术的未来发展趋势

随着多模态大模型技术的不断演进以及应用的日益广泛，图文大模型的评测需求也将不断变化。为了全面、客观、公正地评价图文大模型的能力，后续我们会对“弈衡”多模态大模型评测体系进行持续更新和完善，如任务设置、数据集构建、评价指标设计、评测平台搭建等等，以促进图文大模型技术发展和行业应用。

未来评测技术的研究重点可能聚焦于以下两个方面：一是针对特定业务场景开展评测。在对图文大模型进行评测时，不仅要考察常规物体的识别和理解能力，更要针对实际业务场景开展评测，尤其要在复杂任务上评估模型能力边界，确保对大模型进行深度与广度上的全面测试，真实反映其应用能力。二是跟踪技术演进优化评测体系。应实时掌握多模态大模型发展现状，及时把握前沿应用场景，进一步拓展评测模态范围，不断更新评测数据，优化评测指标，丰富评价维度，迭代评测工具，衡量模型对新数据、新场景的适应能力，提升模型应用能力与部署的鲁棒性。

总结

多模态大模型作为人工智能领域的重要技术，其评测技术的发展对于推动行业进步具有重要意义。本文从多模态大模型的发展现状与评测需求、“弈衡”多模态大模型评测体系的构建、评测技术的未来发展趋势三个角度进行了深入分析。通过构建科学、客观的评测体系，我们可以更好地评估和优化多模态大模型的性能，推动人工智能技术在各行各业的深度融合与创新实践。未来，随着技术的不断进步和应用场景的拓展，多模态大模型评测技术将继续发展，为AI领域带来更多的可能性。