論文の概要: Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher

• arxiv url: http://arxiv.org/abs/2606.25407v1
• Date: Wed, 24 Jun 2026 05:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.230114
• Title: Teach-to-Reason: Competition-Guided Reasoning with a Self-Improving Teacher
• Title（参考訳）: Teach-to-Reason: 自己改善型教師との競争指導型推論
• Abstract要約: 胸部X線視覚質問応答(CXR VQA)は、正しい回答を予測するだけでなく、信頼できる医学的推論を生成するためにモデルを必要とする。 CoT最適化に比較に基づく監視を導入するフレームワークであるtext-to-Reason (T2R)を提案する。
• 参考スコア（独自算出の注目度）: 18.162030833167385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chest X-ray visual question answering (CXR VQA) requires models not only to predict correct answers, but also to produce reliable medical reasoning. However, existing reinforcement-learning-based training typically relies on answer-level rewards, which are often too coarse to improve chain-of-thought (CoT) quality and can become ineffective when group-level advantages collapse to zero. We propose \textbf{Teach-to-Reason (T2R)}, a framework that introduces comparison-based supervision into CoT optimization through a self-improving \emph{Teacher} and a competition-guided \emph{Reasoner}. As the Teacher is iteratively strengthened via self-competition, the Reasoner is optimized against progressively stronger Teacher-generated references. We further introduce a case-wise reward design that preserves the original reward-induced positive/negative partition when it is informative, and restores supervision from competition scores when the original reward signal degenerates. Experiments on multiple CXR open-ended VQA benchmarks show that T2R consistently outperforms strong baselines, indicating that comparison-based supervision, when integrated in a controlled and principled manner, provides a more effective training signal for reasoning optimization.
• Abstract（参考訳）: 胸部X線視覚質問応答(CXR VQA)は、正しい回答を予測するだけでなく、信頼できる医学的推論を生成するためにモデルを必要とする。 しかし、既存の強化学習ベースのトレーニングは通常、回答レベルの報酬に依存しており、それはしばしばチェーン・オブ・シント(CoT)の品質を改善するには粗いものであり、グループレベルのアドバンテージがゼロに崩壊すると効果が低下する可能性がある。 我々は,自己改善型 \emph{Teacher} と競争誘導型 \emph{Reasoner} を用いて,CoT 最適化に比較に基づく監督を導入するフレームワークである \textbf{Teach-to-Reason (T2R)} を提案する。 教師は自己競争を通じて反復的に強化されるので、Reasonerは徐々に強力な教師による参照に対して最適化される。 さらに,報奨信号が劣化した場合に,報奨が引き起こした正負の分配を抑えるケースワイド報酬設計を導入し,報奨信号が劣化した場合に競技スコアから監督を復元する。 複数のCXRオープンエンドVQAベンチマークの実験では、T2Rは強いベースラインを一貫して上回り、比較に基づく監督は、制御され原則化された方法で統合された場合、推論最適化のためのより効果的な訓練信号を提供することを示している。

関連論文リスト

• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
  Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。 Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
  論文  参考訳（メタデータ） (2026-06-08T06:20:12Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。