論文の概要: MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs

• arxiv url: http://arxiv.org/abs/2410.13502v3
• Date: Fri, 14 Feb 2025 18:15:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:58.597808
• Title: MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs
• Title（参考訳）: MathGAP:任意複雑証明問題に対するアウト・オブ・ディストリビューション評価
• Authors: Andreas Opedal, Haruki Shirakami, Bernhard Schölkopf, Abulhair Saparov, Mrinmaya Sachan,
• Abstract要約: MathGAPは、それらの算術的証明構造に関する仕様に従って、問題文と連鎖推論トレースを生成する。 MathGAP を用いて, LLM はより深く, より広くなるにつれて, 性能が著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 80.96119560172224
• License:
• Abstract: Large language models (LLMs) can solve arithmetic word problems with high accuracy, but little is known about how well they generalize to more complex problems. This is difficult to study, as (i) much of the available evaluation data has already been seen by the most capable models during training, and (ii) existing benchmarks do not capture how problem proofs may be arbitrarily complex in various ways. In this paper, we present a data-generation framework for evaluating LLMs on problems with arbitrarily complex arithmetic proofs, called MathGAP. MathGAP generates problem statements and chain-of-thought reasoning traces according to specifications about their arithmetic proof structure, enabling systematic studies on easy-to-hard generalization with respect to complexity of proof trees. Using MathGAP, we find that LLMs show a significant decrease in performance as proofs get deeper and wider. This effect is more pronounced in complex, nonlinear proof structures, which are challenging even for the most capable models. The models are also sensitive to simple changes in sentence ordering. However, they remain capable of solving some complex problems, suggesting that reasoning generalization is noisy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は算術語問題を高い精度で解くことができるが、より複雑な問題にどのように一般化するかは分かっていない。 これは勉強が難しい。 (i)利用可能な評価データの多くは、トレーニング中に最も有能なモデルによって既に見られているもので、 (ii) 既存のベンチマークは、様々な方法で問題証明が任意に複雑になる可能性を捉えていない。 本稿では、任意に複雑な算術証明(MathGAP)による問題に対してLLMを評価するためのデータ生成フレームワークを提案する。 MathGAPは、それらの算術的証明構造に関する仕様に従って問題文と連鎖的推論トレースを生成し、証明木の複雑さに関する簡単でハードな一般化に関する体系的な研究を可能にする。 MathGAP を用いて, LLM は証明がより深く, より広くなるにつれて, 性能が著しく低下することがわかった。 この効果は、より複雑で非線形な証明構造においてより顕著であり、最も有能なモデルでも困難である。 モデルは、文順の単純な変化にも敏感である。 しかし、それらはいくつかの複雑な問題を解くことができ、一般化の推論がうるさいことを示唆している。

関連論文リスト

• LogicPro: Improving Complex Logical Reasoning via Program-Guided Learning [23.987059076950622]
  本稿では,プログラム例を通して大規模言語モデル (LLM) の論理的推論を強化するための新しいアプローチであるLogicProを提案する。 私たちは、広く利用可能なアルゴリズム問題とそのコードソリューションを単純に活用することで、これを効果的に実現します。 提案手法はBBH$27$, GSM8K, HellSwag, Logicqa, Reclor, RTEデータセットの複数のモデルの大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-09-19T17:30:45Z)
• Chain of Thoughtlessness? An Analysis of CoT in Planning [17.329365493094542]
  推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。 本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。 それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
  論文  参考訳（メタデータ） (2024-05-08T02:48:28Z)
• MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
  MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。 5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。 我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-02-14T05:57:58Z)
• CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities [25.857946070979576]
  概念とHint-Annotated Math Problems (CHAMP) は、概念に注釈を付けた高校数学の競争問題である。 このベンチマークは困難で、最高のモデルは標準設定で58.1%しか得点できない。 モデルはしばしば、間違った推論ステップを通じて、正しい最終回答に到達します。
  論文  参考訳（メタデータ） (2024-01-13T03:18:16Z)
• Testing the General Deductive Reasoning Capacity of Large Language Models Using OOD Examples [36.63316546586304]
  大型言語モデル(LLM)は、チェーン・オブ・シークレットのプロンプトを与えられた抽象的推論能力を持つ。 我々は、幅広い推論規則を検証し、より単純な実演からより複雑な証明に一般化する能力を測定する。 様々な大きさのLLMと訓練目的の4つの実験により、合成証明に一般化できることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T15:55:51Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Shortcomings of Question Answering Based Factuality Frameworks for Error Localization [51.01957350348377]
  質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。 このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。 本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
  論文  参考訳（メタデータ） (2022-10-13T05:23:38Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Formal Mathematics Statement Curriculum Learning [64.45821687940946]
  同じ計算予算、専門家の反復、つまり、学習にインターリーブされた証明検索が、証明検索のみを劇的に上回っていることを示す。 また, 難易度が十分に異なる形式文の集合に適用した場合, 専門家の反復により, ますます困難な問題に対するカリキュラムの発見と解決が可能であることも観察した。
  論文  参考訳（メタデータ） (2022-02-03T00:17:00Z)
• A tetrachotomy of ontology-mediated queries with a covering axiom [1.749935196721634]
  我々の懸念は、標準的なデータベースクエリへの記述とそれらの最適な書き換えを介し、クエリに応答する際のデータ複雑さを効率的に決定することである。 我々は、疎結合シロップ(d-シロップ)と呼ばれるブール共役型クエリに焦点を当てる。 一部のd-シロップは指数的な大きさの分解能しか持たないが、そのうちのいくつかは二重指数サイズの正存在量書き換えと単帰的データログ書き換えのみである。
  論文  参考訳（メタデータ） (2020-06-07T14:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。