OpenAI的o1系列一发布，传统数学评测基准都显得不够用了。
MATH-500，满血版o1模型直接拿下94.8分。
更难的奥数邀请赛AIME 2024，o1也获得83.3%的准确率。
随着现有的数学评测集逐渐被攻克，大家不禁开始好奇：大模型能否胜任更具挑战性的数学竞赛，甚至是奥林匹克数学竞赛？
为此，北京大学与阿里巴巴的研究团队联合打造了一个专门用于数学竞赛的奥林匹克评测基准——Omni-MATH。
Omni-MATH专门用于评估大型语言模型在奥林匹克水平的数学推理能力。评测集共收录了 4428 道竞赛级别的问题。这些问题经过精心分类，涵盖了 33 个（及更多）子领域，并且分为 10 个不同的难度级别，使得我们能够对模型在各种数学学科和复杂程度上的表现进行细致分析。
最新排行榜，竞争非常激烈：
除去o1满血版暂时还没有放出API，作为小模型的o1-mini的表现最好，平均分比o1-preview还要高8%左右。
开源模型最好的是Qwen2-MATH-72b，甚至超过了GPT-4o的表现。
总的来说，o1-mini这种只关注少部分能力、放弃存储广泛世界知识路线的优势，再次得到验证。
