論文の概要: Benchmarks in Leipzig

• arxiv url: http://arxiv.org/abs/2606.05818v1
• Date: Thu, 04 Jun 2026 07:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-06 06:55:34.639256
• Title: Benchmarks in Leipzig
• Title（参考訳）: Leipzigのベンチマーク
• Authors: Andrei Balakin, Miklós Bóna, Marie-Charlotte Brandenburg, Clara Briand, Veronica Calvo Cortes, Shelby Cox, Jesus A. De Loera, Danai Deligeorgaki, Hannah Friedman, Tim Gehrunger, Chiara Giardino, Stephen Griffeth, Baran Hashemi, Elena Hoster, Alexander Ivanov, Nupur Jain, Aryaman Jal, Leonie Kayser, Joris Koefler, Kevin Kühn, Mario Kummer, Felix Lotter, René Marczinzik, Victor S. Miller, Alejandro Morales, Greta Panova, Gianni Petrella, Nathan Pflueger, Lakshmi Ramesh, Nikolas Rieke, Carlos Rodriguez, Andrea Rosana, Flavio Salizzoni, Otto T. P. Schmidt, Sven Ulf Schmitz, Lina Maria Simbaqueba Marin, Luca Sodomaco, Christian Stump, Bernd Sturmfels, Alexander Taveira Blomenhofer, Simon Telen, Philipp Tuchel, Emil Verkama, Carl Felix Waller, Julian Weigert, Annette Werner, Nathan Williams, Claudius Zibrowius,
• Abstract要約: 2026年4月1日から5月15日にかけて、49人の数学者のグループが研究レベルの数学質問のデータセットを編纂した。 5つの最先端LCMによる1回の試行、20ラン毎のモデル評価、および2つの重み付けモデルによる3回の試行の3段階でこれらの質問を評価した。 ステージ1以降も41の質問が未解決のままで,ステージ2以降は16に,ステージ3では未解決の質問が2つに留まった。
• 参考スコア（独自算出の注目度）: 62.700298058731505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Between April 1 and May 15, 2026, a group of 49 mathematicians compiled a dataset of research-level mathematics questions with known answers. Most of the work was done during the 3-day workshop *Benchmarks in Leipzig* with 35 participants at the Max Planck Institute for Mathematics in the Sciences in Leipzig, Germany. We present the resulting collection of 100 questions. We evaluated these questions in three stages: a single attempt by five state-of-the-art LLMs, followed by a 20-runs-per-model evaluation with three of these models, and finally a 3-run attempt with two heavy-thinking models. After Stage 1, 41 questions remained completely unsolved; after Stage 2, this count dropped to 16; and we concluded Stage 3 with only 2 unsolved questions. This demonstrates that the mathematical reasoning capabilities of LLMs are becoming impressive.
• Abstract（参考訳）: 2026年4月1日から5月15日にかけて、49人の数学者のグループが研究レベルの数学質問のデータセットを編纂した。 研究の大部分はライプツィヒの3日間のワークショップ*Benchmarks in Leipzig*で行われ、ドイツのライプツィヒにあるマックス・プランク数学研究所(Max Planck Institute for Mathematics in the Sciences)に35人が参加した。 得られた100の質問の集合を提示する。 我々はこれらの質問を,5つの最先端LCMによる1回の試行と,これら3つのモデルによる20ラン毎のモデル評価,そして最終的に2つの重み付きモデルによる3ラン毎の試行の3段階で評価した。 ステージ1以降も41の質問が未解決のままで,ステージ2以降は16に,ステージ3では未解決の質問が2つに留まった。 このことは、LLMの数学的推論能力が印象的になりつつあることを示している。

関連論文リスト

• Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
  Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。 データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
  論文  参考訳（メタデータ） (2026-05-09T17:14:22Z)
• Assessing the Capability of LLMs in Solving POSCOMP Questions [1.2928804566606342]
  本研究では,POSCOMP試験において,大規模言語モデルが人的パフォーマンスに適合するか否かを検討する。 4つのモデルが2022年と2023年のPoSCOMP試験で評価された。 評価は、試験の典型的な複雑な問題を扱う際のモデルの熟練度を測定した。
  論文  参考訳（メタデータ） (2025-05-24T13:40:53Z)
• MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
  MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。 我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-07T02:30:07Z)
• LLMs Are Not Intelligent Thinkers: Introducing Mathematical Topic Tree Benchmark for Comprehensive Evaluation of LLMs [8.89259409245068]
  大規模言語モデル(LLM)は、数学的推論において印象的な能力を示す。 我々はMathematical Topics Tree (MaTT)ベンチマークを提示する。 最上級モデルであるGPT-4は,複数選択シナリオにおいて,わずか54%の精度を達成した。
  論文  参考訳（メタデータ） (2024-06-07T18:21:26Z)
• Can LLMs Master Math? Investigating Large Language Models on Math Stack Exchange [25.419977967846144]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な機能を示した。 本稿では、複雑な数学的問題解決をナビゲートする上でのLLMの限界について考察する。
  論文  参考訳（メタデータ） (2024-03-30T12:48:31Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。