論文の概要: MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese
- arxiv url: http://arxiv.org/abs/2604.25926v1
- Date: Wed, 01 Apr 2026 12:12:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:14.225058
- Title: MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese
- Title（参考訳）: MATH-PT:ヨーロッパとブラジルのポルトガル語の数学推論ベンチマーク
- Abstract要約: sc Math-PTは、ヨーロッパとブラジルのポルトガル語で書かれた1,729の数学的問題からなる新しいデータセットである。
sc Math-PTは、数学のオリンピアード、競技会、ポルトガルとブラジルの試験など、さまざまな高品質なネイティブソースからキュレーションされている。
我々は,Sc Math-PT上で現在最先端のLCMの総合ベンチマークを行い,フロンティア推論モデルが複数の選択問題において高い性能を達成することを示した。
- 参考スコア（独自算出の注目度）: 22.329498961271195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of large language models (LLMs) for complex mathematical reasoning is an emergent area of research, with fast progress in methods, models, and benchmark datasets. However, most mathematical reasoning evaluations exhibit a significant linguistic bias, with the vast majority of benchmark datasets being exclusively in English or (at best) translated from English. We address this limitation by introducing {\sc Math-PT}, a novel dataset comprising 1,729 mathematical problems written in European and Brazilian Portuguese. {\sc Math-PT} is curated from a variety of high-quality native sources, including mathematical Olympiads, competitions, and exams from Portugal and Brazil. We present a comprehensive benchmark of current state-of-the-art LLMs on {\sc Math-PT}, revealing that frontier reasoning models achieve strong performance in multiple choice questions compared to open weight models, but that their performance decreases for questions with figures or open-ended questions. To facilitate future research, we release the benchmark dataset and model outputs.
- Abstract（参考訳）: 複雑な数学的推論に大規模言語モデル(LLM)を使用することは、メソッド、モデル、ベンチマークデータセットの急速な進歩とともに、研究の創発的な領域である。
しかし、ほとんどの数学的推論評価は言語学的偏見を示しており、ほとんどのベンチマークデータセットは英語でのみ、あるいは英語でのみ翻訳されている。
この制限に対処するために、ヨーロッパとブラジルのポルトガル語で書かれた1,729の数学的問題からなる新しいデータセットである {\sc Math-PT} を導入する。
{\sc Math-PT} は、数学のオリンピアード、競技会、ポルトガルとブラジルの試験など、様々な高品質なネイティブソースからキュレーションされている。
そこで本研究では,フロンティア推論モデルが複数の選択問題において,開放重みモデルと比較して高い性能を達成できることを示すとともに,その性能は,数値やオープンエンド質問による質問に対して低下することを示す。
今後の研究を容易にするため、ベンチマークデータセットとモデル出力をリリースする。
関連論文リスト
- SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics [4.685475117723465]
専門家のアノテーションを使わずに数理IRを評価するための,最初の完全自動ベンチマークであるSABER-Mathを紹介する。
SABER-Mathは283Kのハイスクールレベルの数学問題から始まり、3つのステップでタスクのランク付けに挑戦する。
我々は、語彙検索器、特殊数式検索システム、最近の埋め込みモデルを評価する。
論文 参考訳（メタデータ） (2026-06-29T07:32:50Z) - MathNet: a Global Multimodal Benchmark for Mathematical Reasoning and Retrieval [36.08923642455691]
我々は,Olympiadレベルの数学問題の高品質,大規模,マルチモーダル,多言語データセットであるMathNetを紹介する。
MathNetは47の国、17の言語、そして20年の競争にまたがる。
MathNetは、(i)問題解決、(ii)Math-Aware Retrieval、(iii)Retrieval-Augmented Problem Solvingの3つのタスクをサポートする。
論文 参考訳（メタデータ） (2026-04-20T17:59:49Z) - LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics [5.676144562388248]
本研究では,研究レベルの数学において,大規模言語モデルの能力をベンチマークするための新しいアプローチを提案する。
既存のベンチマークは、数学研究のプロキシとして静的で手作業によるコンテストや教科書スタイルの問題に大きく依存している。
代わりに、最新の数学研究結果に基づいてモデルを直接評価する最新のベンチマークを確立する。
論文 参考訳（メタデータ） (2026-02-27T16:52:52Z) - RealMath: A Continuous Benchmark for Evaluating Language Models on Research-Level Mathematics [30.778394290919582]
大規模言語モデル(LLM)における数学的推論を評価するための既存のベンチマークは、主に競合問題、公式な証明、人工的な問題に依存している。
論文や数理フォーラムから直接派生した新しいベンチマークであるRealMathを導入し,実数理タスクにおけるLLMの能力を評価する。
論文 参考訳（メタデータ） (2025-05-18T23:32:46Z) - Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。
OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文 参考訳（メタデータ） (2025-03-27T11:20:17Z) - MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。
我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
論文 参考訳（メタデータ） (2024-10-07T02:30:07Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On [55.449818944278526]
一般的な7B言語モデル上での教師付き微調整(SFT)であるSkywork-Mathモデルシリーズを紹介する。
Skywork-Math 7Bは競争レベルのMATHベンチマークで51.2%の精度を達成した。
我々は,LLMの数学推論能力を高めるために,研究用と産業用の両方で,いくつかの実践的なテイクアウトを提供する。
論文 参考訳（メタデータ） (2024-07-11T09:56:51Z) - MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2024-05-25T15:07:33Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳（メタデータ） (2024-02-29T15:26:14Z) - Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。
我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。
LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳（メタデータ） (2022-10-31T17:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。