多模态大模型评测展望：如何构建科学客观的评测体系？

本篇文章的部分核心观点、图表及数据，出自中国移动通信研究院于2024年10月14日发布的报告《宏观研究-『弈衡』多模态大模型评测体系白皮书（2024年）》，如需获得原文，请前往文末下载。

随着人工智能技术的飞速发展，多模态大模型已成为推动产业升级和生产力变革的强大引擎。这些模型以其卓越的多模态理解、推理能力，在自然语言处理、计算机视觉等领域带来了革命性的变革。然而，如何全面评估这些模型的性能和潜力，成为了业界关注的热点问题。本文将探讨多模态大模型评测体系的构建，以及未来评测技术的重点发展方向。

关键词：多模态大模型、评测体系、人工智能、评测维度、评测指标

构建全面客观的评测体系

在多模态大模型的评测中，构建一个全面客观的评测体系是至关重要的。这一体系不仅需要覆盖模型在识别、理解、推理、创作等各类任务中的能力，还要确保评测结果的科学性和客观性。根据“弈衡”多模态大模型评测体系白皮书（2024年），评测体系应包含功能性、准确性、可靠性、安全性、交互性和应用性六大维度，这些维度相互独立，覆盖了产品应用中用户端到端业务全流程的各环节。

功能性维度关注模型解决多种任务的能力，包括任务丰富度、多模态能力和支持完备度。准确性维度则关注模型执行各类任务的性能，需要针对不同类型的任务选择最合适的评价指标。例如，对于具有明确标准答案的任务，应优先选择准确率、召回率等客观评价指标；而对于创作类任务，则应选择主观评价方式。可靠性维度关注大模型的抗噪声能力，以及对同一问题多次输出结果的一致性。安全性维度考察图文大模型生成结果的毒害性和公平性，包括歧视偏见、内容毒性等。交互性维度关注用户使用图文大模型时的交互体验，包括实时性、连续性、丰富性和规范性。应用性维度则关注图文大模型产品或系统在现实应用场景中的部署、运维、支撑能力和使用效果。

引用白皮书中的数据，目前典型的多模态大模型有国外的GPT-4Vision、Gemini，国内的文心一言、讯飞星火、智谱清言等。这些大模型算法各异，在不同的任务场景下各有优劣，如何对这些多模态大模型开展客观、科学的评测，评估特定任务场景下的最优选择，对大模型的研发迭代以及应用落地都具有重要意义。

评测技术的演进与挑战

随着多模态大模型技术的不断演进，评测技术也需要不断更新以适应新的挑战。首先，图文大模型在特定领域的准确性仍有待提高。尽管在多任务泛化性上表现出优势，但在大规模人群计数、多图像内容合成、小物体识别等高难度任务中，图文大模型的表现尚不如经过针对性训练的图像小模型。其次，图文大模型的实时信息更新慢，对于新兴任务及特殊场景，数据更新慢，能力有待提高，难以实际应用。

针对这些问题，未来的评测技术研究重点可能聚焦于两个方面：一是针对特定业务场景开展评测，尤其在复杂任务上评估模型能力边界，确保对大模型进行深度与广度上的全面测试；二是跟踪技术演进优化评测体系，拓展评测模态范围，不断更新评测数据，优化评测指标，丰富评价维度，迭代评测工具，衡量模型对新数据、新场景的适应能力。

评测体系的实践与应用

在实践应用中，评测体系的构建和应用是相辅相成的。中国移动技术能力评测中心作为第三方专业评测机构，深入开展评测技术研究，积累了丰富的产品技术能力评测经验。针对图文等多模态大模型，构建了“弈衡”多模态大模型评测体系，为中国移动工业、政务、金融、交通、安全等十余个行业大模型的全面客观评测提供标准基线，助力中国移动AI+重塑千行百业。

在实际应用中，评测体系不仅为业界大模型评测提供参考依据，还为合作伙伴提供一站式大模型评测服务，推动国产大模型产业成熟和落地应用。通过这一体系，可以更好地评估和优化多模态大模型的性能，推动技术的健康发展。

总结

多模态大模型的评测体系构建是一个复杂而细致的过程，它涉及到模型性能的全面评估和未来技术发展的预测。随着技术的不断进步，评测体系也需要不断地更新和完善。通过构建科学客观的评测体系，我们可以更好地理解和优化多模态大模型，推动人工智能技术在各行各业的深度融合与创新实践。未来，我们期待与产业界相关企业和研究机构一道，继续攻关大模型评测关键技术，不断完善多模态大模型评测体系，共同构建评测产业标准化生态，促进大模型技术的健康快速发展。