論文の概要: Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2602.06475v1
• Date: Fri, 06 Feb 2026 08:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.291336
• Title: Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning
• Title（参考訳）: 一般化可能な推論に向けて:LLM推論のためのグループ因果政策最適化
• Authors: Jingyao Wang, Peizheng Guo, Wenwen Qiang, Jiahuan Zhou, Huijie Guo, Changwen Zheng, Hui Xiong,
• Abstract要約: 大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
• 参考スコア（独自算出の注目度）: 50.352417879912515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel at complex tasks with advances in reasoning capabilities. However, existing reward mechanisms remain tightly coupled to final correctness and pay little attention to the underlying reasoning process: trajectories with sound reasoning but wrong answers receive low credit, while lucky guesses with flawed logic may be highly rewarded, affecting reasoning generalization. From a causal perspective, we interpret multi-candidate reasoning for a fixed question as a family of counterfactual experiments with theoretical supports. Building on this, we propose Group Causal Counterfactual Policy Optimization to explicitly train LLMs to learn generalizable reasoning patterns. It proposes an episodic causal counterfactual reward that jointly captures (i) robustness, encouraging the answer distribution induced by a reasoning step to remain stable under counterfactual perturbations; and (ii) effectiveness, enforcing sufficient variability so that the learned reasoning strategy can transfer across questions. We then construct token-level advantages from this reward and optimize the policy, encouraging LLMs to favor reasoning patterns that are process-valid and counterfactually robust. Extensive experiments on diverse benchmarks demonstrate its advantages.
• Abstract（参考訳）: 大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 しかし、既存の報酬メカニズムは最終的な正しさと密接に結びついていて、根底にある推論プロセスにほとんど注意を払わない: 健全な推論を持つ軌道は、間違った答えが低い信用を得られるが、欠点のある論理を持つラッキーな推測は、高い報酬を受け取り、推論の一般化に影響を及ぼす。 因果的観点から、固定された質問に対する多候補推論を、理論的支援を伴う反実的な実験の族として解釈する。 そこで本研究では,LLMを明示的に学習し,一般化可能な推論パターンを学習するためのグループ因果政策最適化を提案する。 共用型因果対物報酬の提案 一 反実的摂動の下で安定していなければならない理由づけにより引き起こされた答の分布を奨励する頑健性 (二) 学習した推論戦略が質問をまたいで伝達できるように十分な変数を強制する効果。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。 多様なベンチマークに関する大規模な実験は、その利点を示している。

関連論文リスト

• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• RAVR: Reference-Answer-guided Variational Reasoning for Large Language Models [21.671577399379885]
  本稿では,質問のみの推論のための変分サロゲートとして応答条件推論を利用する,エンドツーエンドのフレームワークであるRAVRを紹介する。 RAVRはためらいを減らし、結論の統合を強化し、推論における問題固有の戦略を促進する。
  論文  参考訳（メタデータ） (2025-10-29T06:18:37Z)
• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency [11.144164626192904]
  チェーン・オブ・シンキング(CoT)のような連鎖型手法は、大規模言語モデル(LLM)の推論タスクの解決において、その役割を担っている。 本稿では、因果的重要性と一貫性を同時に考慮する非チェーン型推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T08:28:23Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Self-Contradictory Reasoning Evaluation and Detection [31.452161594896978]
  本稿では,自己矛盾推論(Self-Contra)について考察する。 LLMは文脈情報理解や常識を含むタスクの推論において矛盾することが多い。 GPT-4は52.2%のF1スコアで自己コントラを検出できる。
  論文  参考訳（メタデータ） (2023-11-16T06:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。