論文の概要: SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics
- arxiv url: http://arxiv.org/abs/2606.29894v1
- Date: Mon, 29 Jun 2026 07:32:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.095644
- Title: SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics
- Title（参考訳）: SABER-Math:数学における情報検索評価のための自動ベンチマーク
- Abstract要約: 専門家のアノテーションを使わずに数理IRを評価するための,最初の完全自動ベンチマークであるSABER-Mathを紹介する。
SABER-Mathは283Kのハイスクールレベルの数学問題から始まり、3つのステップでタスクのランク付けに挑戦する。
我々は、語彙検索器、特殊数式検索システム、最近の埋め込みモデルを評価する。
- 参考スコア（独自算出の注目度）: 4.685475117723465
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As agentic AI systems tackle more complex mathematical tasks, they increasingly rely on information retrieval (IR) to search problem databases, theorem libraries, and educational resources. However, choosing the right retriever remains difficult, as it is infeasible to directly isolate its effect on downstream performance. On the other hand, existing retrieval-specific benchmarks often fail to capture fine-grained mathematical relevance, penalizing relevant documents. We address this gap by introducing SABER-Math, the first fully automated benchmark for evaluating mathematical IR without expert annotation. Starting from 283K high-school-level math problems with solutions, SABER-Math builds challenging reranking tasks in three steps: (i) first, LLMs extract concise solution summaries and mathematical topics for each problem; (ii) then, per-query relevant documents are discovered using ontology topic-based and lexical solutions-summary-based similarities, and (iii) finally, a Swiss-style LLM preference tournament produces fine-grained relevance ratings for the documents. We evaluate lexical retrievers, specialized mathematical retrieval systems, and recent embedding models. We find that while modern embedding models substantially outperform classical and math-specific baselines, even the strongest systems struggle in symbol-heavy domains like Algebra and Calculus. Importantly, we show that general-purpose IR benchmarks such as MTEB do not reliably predict mathematical performance, especially for recent embedding models, highlighting the need for math-specific retrieval benchmarks.
- Abstract（参考訳）: エージェントAIシステムはより複雑な数学的タスクに取り組むため、問題データベース、定理ライブラリ、教育資源の検索に情報検索(IR)をますます頼りにしている。
しかし、ダウンストリーム性能に対する直接的にその影響を分離することは不可能であるため、適切なレトリバーを選択することは依然として困難である。
一方、既存の検索特化ベンチマークは、関連する文書をペナルティ化し、微粒な数学的関連性を捉えるのに失敗することが多い。
SABER-Mathは、専門家のアノテーションを使わずに数学的なIRを評価するための最初の完全自動ベンチマークである。
SABER-Mathは283Kのハイスクールレベルの数学問題から始まり、3つのステップでタスクのランク付けに挑戦する。
i) まず,LLMは,各問題に対する簡潔な解の要約と数学的トピックを抽出する。
(二)オントロジーのトピックベースと語彙のソリューションベースの類似性を用いて、クエリごとの関連文書が発見され、
第三に、スイス風のLLM選好トーナメントでは、文書の詳細な関連性評価が行なわれている。
我々は、語彙検索器、特殊数式検索システム、最近の埋め込みモデルを評価する。
現代の埋め込みモデルは、古典的および数学特有のベースラインを大幅に上回るが、最も強力なシステムでさえ、アルゲブラやカルキュラスのような記号の多い領域で苦労している。
特に最近の組込みモデルでは,MTEB などの汎用IR ベンチマークは数学的な性能を確実に予測できないことを示し,数学固有の検索ベンチマークの必要性を強調した。
関連論文リスト
- Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities [0.0]
大規模言語モデル(LLM)を評価するために特別に設計された最初のベンチマークであるMath-Vision Diagramsを紹介する。
3040のうち2920枚の画像のサブセットを,本質的な視覚的コンテキストを持つ高品質な競合問題から選択する。
すべてのコード、データ、キュレーションパイプライン、評価スクリプトが完全にオープンソースになる。
論文 参考訳（メタデータ） (2026-08-09T23:58:01Z) - MathCoPilot: An Interactive System for Human-AI Symbiotic Paradigm of Mathematical Research [62.221184989046826]
MathCoPilotは、数学研究のための新しいAI共生パラダイムを具現化したループシステムである。
MathCoPilotは3つのコア機能を統合する: 証明をナビゲート可能なステップに分解するインタラクティブな証明青写真、適応的な知識ベース検索とリーン統合された反復検証を備えた自動証明スキルオーケストレーション、トピック駆動の紙検索と自動形式化を検証可能なリーン知識ベースに統合する。
論文 参考訳（メタデータ） (2026-07-16T05:22:40Z) - From Solvers to Research: Large Language Model-Driven Formal Mathematics at the Research Frontier [109.93387172162984]
AI4Mathシステムの次の飛躍は、事前に定義された問題解決者から研究エージェントへの決定的なシフトを必要とする。
この分野の体系的なレビューを行い、データセット、自動形式化、証明合成について紹介する。
論文 参考訳（メタデータ） (2026-07-08T17:46:36Z) - Reasoning over mathematical objects: on-policy reward modeling and test time aggregation [120.92237765735813]
数学的オブジェクト、Principiaスイートを導出するためのトレーニングデータとベンチマークを構築し、リリースする。
オンライントレーニングは,アグリゲーションによるテスト時間計算のスケールアップにも有効であることを示す。
Qwen3-235Bやo3のような強力なLMがプリンキピアで苦戦しているのに対して、トレーニングレシピは大幅に改善されている。
論文 参考訳（メタデータ） (2026-03-19T13:27:12Z) - LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics [5.676144562388248]
本研究では,研究レベルの数学において,大規模言語モデルの能力をベンチマークするための新しいアプローチを提案する。
既存のベンチマークは、数学研究のプロキシとして静的で手作業によるコンテストや教科書スタイルの問題に大きく依存している。
代わりに、最新の数学研究結果に基づいてモデルを直接評価する最新のベンチマークを確立する。
論文 参考訳（メタデータ） (2026-02-27T16:52:52Z) - RealMath: A Continuous Benchmark for Evaluating Language Models on Research-Level Mathematics [30.778394290919582]
大規模言語モデル(LLM)における数学的推論を評価するための既存のベンチマークは、主に競合問題、公式な証明、人工的な問題に依存している。
論文や数理フォーラムから直接派生した新しいベンチマークであるRealMathを導入し,実数理タスクにおけるLLMの能力を評価する。
論文 参考訳（メタデータ） (2025-05-18T23:32:46Z) - Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。
OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文 参考訳（メタデータ） (2025-03-27T11:20:17Z) - MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [47.98592958615677]
数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。
我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。
次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
論文 参考訳（メタデータ） (2025-02-17T11:22:24Z) - HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。
本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。
HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
論文 参考訳（メタデータ） (2024-10-13T20:09:41Z) - MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。
我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
論文 参考訳（メタデータ） (2024-10-07T02:30:07Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳（メタデータ） (2024-02-29T15:26:14Z) - JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem
Understanding [74.12405417718054]
本稿では,中国初の数学的事前学習言語モデル(PLM)を提示することにより,機械の数学的知性向上を目指す。
他の標準のNLPタスクとは異なり、数学的テキストは問題文に数学的用語、記号、公式を含むため理解が難しい。
基礎課程と上級課程の両方からなる数学PLMの学習を改善するための新しいカリキュラム事前学習手法を設計する。
論文 参考訳（メタデータ） (2022-06-13T17:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。