Fugu-MT 論文翻訳(概要): CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge

論文の概要: CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge

arxiv url: http://arxiv.org/abs/2508.02583v2
Date: Thu, 07 Aug 2025 15:57:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 14:01:14.02193
Title: CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge
Title（参考訳）: CAMA:因果知識を持つ大規模言語モデルにおける数学的推論の強化
Authors: Lei Zan, Keli Zhang, Ruichu Cai, Lujia Pan,
Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを示してきたが、複雑な数学的推論に苦戦している。我々は,LLMに明示的で再利用可能な数学的構造を持たせる2段階の因果関係フレームワークであるtextbfCAusal textbfMAthematician (textbfCAMA) を提案する。
参考スコア（独自算出の注目度）: 14.367146529900609
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have demonstrated strong performance across a wide range of tasks, yet they still struggle with complex mathematical reasoning, a challenge fundamentally rooted in deep structural dependencies. To address this challenge, we propose \textbf{CA}usal \textbf{MA}thematician (\textbf{CAMA}), a two-stage causal framework that equips LLMs with explicit, reusable mathematical structure. In the learning stage, CAMA first constructs the \textbf{M}athematical \textbf{C}ausal \textbf{G}raph (\textbf{MCG}), a high-level representation of solution strategies, by combining LLM priors with causal discovery algorithms applied to a corpus of question-solution pairs. The resulting MCG encodes essential knowledge points and their causal dependencies. To better align the graph with downstream reasoning tasks, CAMA further refines the MCG through iterative feedback derived from a selected subset of the question-solution pairs. In the reasoning stage, given a new question, CAMA dynamically extracts a task-relevant subgraph from the MCG, conditioned on both the question content and the LLM's intermediate reasoning trace. This subgraph, which encodes the most pertinent knowledge points and their causal dependencies, is then injected back into the LLM to guide its reasoning process. Empirical results on real-world datasets show that CAMA significantly improves LLM performance on challenging mathematical problems. Furthermore, our experiments demonstrate that structured guidance consistently outperforms unstructured alternatives, and that incorporating asymmetric causal relationships yields greater improvements than using symmetric associations alone.
Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを示してきたが、それでも複雑な数学的推論に苦慮している。この課題に対処するために、明示的で再利用可能な数学的構造を持つ2段階の因果関係フレームワークである \textbf{CA}usal \textbf{MA}thematician (\textbf{CAMA}) を提案する。学習段階において、CAMAはまず、LLM先行項と質問解対のコーパスに適用した因果探索アルゴリズムを組み合わせることにより、解戦略の高レベルな表現である \textbf{M}athematical \textbf{C}ausal \textbf{G}raph (\textbf{MCG})を構築する。 MCGは本質的な知識ポイントとその因果依存性を符号化する。グラフを下流の推論タスクとよりよく整合させるため、CAMAは質問-解決ペアの選択されたサブセットから導かれる反復的なフィードバックにより、MDGをさらに洗練する。推論段階において、CAMAは、質問内容とLCMの中間的推論トレースの両方に基づいて、MCGからタスク関連部分グラフを動的に抽出する。このサブグラフは、最も関連する知識ポイントとその因果依存性を符号化し、その推論プロセスを導くためにLSMに注入される。実世界のデータセットにおける実験結果から、CAMAは難解な数学的問題に対してLLM性能を著しく向上させることが示された。さらに, 構造的指導が非構造的代替よりも一貫して優れており, 非対称因果関係を組み込むことは, 対称関係のみを用いることよりも向上することを示した。

関連論文リスト

KisMATH: Do LLMs Have Knowledge of Implicit Structures in Mathematical Reasoning? [4.473915603131591]
思考の連鎖は、多くの推論タスクにおいて、大きな言語モデルの性能を向上させることが示されている。因果CoTグラフ(Causal CoT Graphs, CCGs)は, 因果トレースから自動的に抽出される非巡回グラフである。
論文参考訳（メタデータ） (2025-07-15T15:28:37Z)
Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization [80.09112808413133]
Mujicaは、質問をサブクエストの非循環グラフに分解するプランナーであり、検索と推論を通じて質問を解決するワーカーである。 MyGOは、従来のポリシー更新を勾配的いいねりの最大推定に置き換える、新しい強化学習手法である。複数のデータセットにまたがる実験結果から,マルチホップQA性能向上における MujicaMyGO の有効性が示された。
論文参考訳（メタデータ） (2025-05-20T18:33:03Z)
MetaLadder: Ascending Mathematical Solution Quality via Analogical-Problem Reasoning Transfer [37.81465564673498]
大規模言語モデル(LLM)は、数学的推論タスクを解く上で有望な能力を示した。メタプロブレムのリコールとリフレクションを LLM に明示的に促すフレームワークである textbfMetaLadder を提案する。我々のMetaLadderはLLMの問題解決精度を大幅に向上させることを示す。
論文参考訳（メタデータ） (2025-03-19T04:36:35Z)
Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。 AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
論文参考訳（メタデータ） (2025-02-07T16:54:19Z)
Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文参考訳（メタデータ） (2024-12-24T16:38:04Z)
Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models [62.12031550252253]
本稿では,関係推論に対処するための新しいフレームワークであるPath-of-Thoughts(PoT)を提案する。 PoTは、問題コンテキスト内の重要なエンティティ、関係、属性を識別するタスクに依存しないグラフを効率的に抽出する。 PoTは、提案された質問に対応するグラフ内の関連する推論連鎖を特定し、潜在的な答えの推論を容易にする。
論文参考訳（メタデータ） (2024-12-23T20:27:12Z)
Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation [68.58373854950294]
我々は因果推論に焦点をあて,相関情報に基づく因果関係の確立という課題に対処する。この問題に対して,元のタスクを固定的なサブクエストに分割するプロンプト戦略を導入する。既存の因果ベンチマークであるCorr2Causeに対するアプローチを評価した。
論文参考訳（メタデータ） (2024-12-18T15:32:27Z)
MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs [80.96119560172224]
MathGAPは、それらの算術的証明構造に関する仕様に従って、問題文と連鎖推論トレースを生成する。 MathGAP を用いて, LLM はより深く, より広くなるにつれて, 性能が著しく低下することがわかった。
論文参考訳（メタデータ） (2024-10-17T12:48:14Z)
Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
論文参考訳（メタデータ） (2024-10-15T13:24:44Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
論文参考訳（メタデータ） (2024-01-17T18:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。