論文の概要: Counterfactual Self-Questioning for Stable Policy Optimization in Language Models

• arxiv url: http://arxiv.org/abs/2601.00885v1
• Date: Wed, 31 Dec 2025 09:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.823154
• Title: Counterfactual Self-Questioning for Stable Policy Optimization in Language Models
• Title（参考訳）: 言語モデルにおける安定的政策最適化のための対実的セルフクエスト
• Authors: Mandar Parab,
• Abstract要約: 本稿では,一つの言語モデルが自己推論の反現実的批判を生成・評価するフレームワークである反現実的自問法を提案する。 複数の数学的推論ベンチマークの実験は、特により小さなモデルにおいて、反実的な自己探究によって精度と訓練安定性が向上することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on language model self-improvement shows that models can refine their own reasoning through reflection, verification, debate, or self-generated rewards. However, most existing approaches rely on external critics, learned reward models, or ensemble sampling, which increases complexity and training instability. We propose Counterfactual Self-Questioning, a framework in which a single language model generates and evaluates counterfactual critiques of its own reasoning. The method produces an initial reasoning trace, formulates targeted questions that challenge potential failure points, and generates alternative reasoning trajectories that expose incorrect assumptions or invalid steps. These counterfactual trajectories provide structured relative feedback that can be directly used for policy optimization without auxiliary models. Experiments on multiple mathematical reasoning benchmarks show that counterfactual self-questioning improves accuracy and training stability, particularly for smaller models, enabling scalable self-improvement using internally generated supervision alone.
• Abstract（参考訳）: 言語モデルの自己改善に関する最近の研究は、モデルがリフレクション、検証、議論、自己生成報酬を通じて自身の推論を洗練できることを示している。 しかし、既存のアプローチのほとんどは、複雑さを高め、トレーニングの不安定性を高める外部批判、学習報酬モデル、アンサンブルサンプリングに依存している。 本稿では,一つの言語モデルが自己推論の反現実的批判を生成・評価するフレームワークである反現実的自問法を提案する。 この方法は、初期推論トレースを生成し、潜在的な障害点に挑戦する対象の質問を定式化し、誤った仮定や不正なステップを露呈する代替推論軌跡を生成する。 これらの反事実軌道は、補助モデルなしで直接ポリシー最適化に使用できる構造化された相対的なフィードバックを提供する。 複数の数学的推論ベンチマークの実験により、反事実的自己探索は精度と訓練の安定性を向上し、特に小さなモデルでは、内部で生成された監視のみを使用してスケーラブルな自己改善を可能にすることが示されている。

関連論文リスト

• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Language Models can perform Single-Utterance Self-Correction of Perturbed Reasoning [4.768151813962547]
  大規模言語モデル(LLM)は、驚くべき数学的推論能力を示している。 それらの性能は、問題記述と迅速な戦略の微妙なバリエーションに引き続き脆弱である。 近年のモデルの自己補正能力をよりよく理解するために,モデルが自己補正合成を行う能力を測定する実験を行った。
  論文  参考訳（メタデータ） (2025-06-18T21:35:44Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• Self-rewarding correction for mathematical reasoning [19.480508580498103]
  我々は,大規模言語モデル(LLM)の自己回帰的推論について研究する。 LLMは、ステップバイステップの推論を同時に生成し、外部からのフィードバックを伴わない推論時間における出力の正しさを評価する。 本稿では,自己生成データのみを用いて自己回帰推論モデルを構築するための2段階のアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T23:01:16Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。