論文の概要: OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization

• arxiv url: http://arxiv.org/abs/2506.18880v1
• Date: Mon, 23 Jun 2025 17:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.109962
• Title: OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization
• Title（参考訳）: OMEGA:LLMは数学の箱の外に推論できるか? 探索的, 構成的, 変換的一般化の評価
• Authors: Yiyou Sun, Shawn Hu, Georgia Zhou, Ken Zheng, Hannaneh Hajishirzi, Nouha Dziri, Dawn Song,
• Abstract要約: 最近の大規模言語モデル (LLMs) は、DeepSeek-R1-のような長い鎖の推論を持ち、オリンピアード級数学において印象的な成果を上げている。 本稿では,3つの分布外一般化の軸を評価するために設計された3つの一般化 Axes-a ベンチマークを用いた OMEGA-Out-of-distriion Math Problems Evaluation を提案する。
• 参考スコア（独自算出の注目度）: 88.76091817642963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent large-scale language models (LLMs) with long Chain-of-Thought reasoning-such as DeepSeek-R1-have achieved impressive results on Olympiad-level mathematics benchmarks. However, they often rely on a narrow set of strategies and struggle with problems that require a novel way of thinking. To systematically investigate these limitations, we introduce OMEGA-Out-of-distribution Math Problems Evaluation with 3 Generalization Axes-a controlled yet diverse benchmark designed to evaluate three axes of out-of-distribution generalization, inspired by Boden's typology of creativity: (1) Exploratory-applying known problem solving skills to more complex instances within the same problem domain; (2) Compositional-combining distinct reasoning skills, previously learned in isolation, to solve novel problems that require integrating these skills in new and coherent ways; and (3) Transformative-adopting novel, often unconventional strategies by moving beyond familiar approaches to solve problems more effectively. OMEGA consists of programmatically generated training-test pairs derived from templated problem generators across geometry, number theory, algebra, combinatorics, logic, and puzzles, with solutions verified using symbolic, numerical, or graphical methods. We evaluate frontier (or top-tier) LLMs and observe sharp performance degradation as problem complexity increases. Moreover, we fine-tune the Qwen-series models across all generalization settings and observe notable improvements in exploratory generalization, while compositional generalization remains limited and transformative reasoning shows little to no improvement. By isolating and quantifying these fine-grained failures, OMEGA lays the groundwork for advancing LLMs toward genuine mathematical creativity beyond mechanical proficiency.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)は、DeepSeek-R1のような長いチェーン・オブ・ソート推論を持ち、オリンピアードレベルの数学ベンチマークで驚くべき結果を得た。 しかし、彼らはしばしば狭い戦略に頼り、新しい考え方を必要とする問題に苦しむ。 これらの制約を体系的に検討するために,3 つの一般化を用いた OMEGA-out-out-distriion Math Problems Evaluation with 3 Generalization Axes-a controlled to evaluate three axiss out-of-distriion generalization, inspired by Boden's typology of creative: (1) Exploratory-applying known problem solve skills to more complex instances in the same problem domain, (2) compositional-combining different reasoning skills, previously learned in separate, to solve novel problem that required in new and coherent way, (3) Transformative-adopting novel, often often unconventional strategy by move familiar approach to easier problem。 OMEGAは、幾何学、数論、代数、コンビネータ論、論理学、パズルにまたがるテンプレート付き問題生成器から派生したプログラム的に生成されたトレーニング-テストペアと、記号的、数値的、グラフィカルな手法を用いて検証されたソリューションから構成される。 我々は、フロンティア(またはトップ層)のLLMを評価し、問題の複雑性が増大するにつれて、急激な性能劣化を観察する。 さらに,Qwen系列モデルを全一般化設定で微調整し,探索的一般化の顕著な改善を観察する一方で,構成的一般化は限定的であり,変換的推論では改善がほとんどない。 これらのきめ細かい失敗を分離して定量化することによって、OMEGAは、機械的熟練性を超えた真の数学的創造性に向けてLSMを進めるための基礎を築き上げた。

関連論文リスト

• LogicPuzzleRL: Cultivating Robust Mathematical Reasoning in LLMs via Reinforcement Learning [29.047063129464494]
  大規模言語モデル(LLM)は多くの教師付きタスクで優れるが、よくなじみのない設定で構造化された推論に悩まされる。 この矛盾は、標準的な微調整パイプラインが汎用的な思考戦略を育むのではなく、狭く、ドメイン固有のものを注入する可能性があることを示唆している。 本研究では,7つのカスタム論理パズルの組による強化学習を通じて,LLMを微調整する「学習のための遊び」フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-05T09:40:47Z)
• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• Human Cognition Inspired RAG with Knowledge Graph for Complex Problem Solving [32.293348354802504]
  大規模言語モデル(LLM)は、様々な領域にわたる変換ポテンシャルを実証している。 検索・拡張生成(RAG)はLLMの精度を高めるための有望なソリューションとして浮上している。 我々は認知にインスパイアされたグラフベースのRAGフレームワークであるCogGRAGを提案する。
  論文  参考訳（メタデータ） (2025-03-09T11:50:39Z)
• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning [30.40415945003794]
  数学的推論における大規模言語モデル(LLM)の構成性について検討する。 論理的欠陥の問題は実世界では非常に稀であるため、これらはLLMの「見えない」ケースを表している。 実験の結果, LLM には必要知識の双方の構成要素があるが, これらの新規事例を扱うために, テキストbfspontanely に組み合わせることはできないことがわかった。
  論文  参考訳（メタデータ） (2024-05-05T16:35:30Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。