論文の概要: Aligning Thoughts with Answers: Probability Rewards to Tame Thinking Drift

• arxiv url: http://arxiv.org/abs/2609.39183v1
• Date: Wed, 30 Sep 2026 07:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.39658
• Title: Aligning Thoughts with Answers: Probability Rewards to Tame Thinking Drift
• Title（参考訳）: 疑問に答える思考: ドリフトを考慮せずに考えることへの確率的回帰
• Abstract要約: 我々は視覚的意図的グラウンド(Visual Intention Grounding)に焦点を当て、モデルが人間の意図的クエリに基づいて対象オブジェクトを推論し、バウンディングボックスを予測する。 「イオウを基盤とした強化学習の枠組みは、思考の漂流に悩まされている。」 ドリフトをテームする新しいRLパラダイムとして textbfRita を提案する。
• 参考スコア（独自算出の注目度）: 61.11814573849696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies \textbf{thinking--answer consistency} in vision-language models. We focus on Visual Intention Grounding, where a model infers a target object based on a human intention query and predicts a bounding box. We reveal that previous IoU-based reinforcement learning (RL) frameworks suffer from ``thinking drift'', where the model produces a correct bounding box, despite having an incorrect reasoning process pointing to a different target object. Thus, we propose \textbf{Rita} (\textit{ReInforcing Thinking--Answer consistency}) as a novel RL paradigm to tame the drift. Specifically, Rita introduces two reasoning-label-free RL rewards, constructed from the conditional probability of reference answers: a \textbf{thinking reward} and a \textbf{consistency reward}. It also adopts a difficulty-aware \textbf{data filtering} strategy that selects informative easy-to-medium samples for RL using rollout error rate and reward variance. Extensive experiments on EgoIntention and the new RefEgo-Int benchmarks show that Rita performs consistently superior to the supervised finetuning approaches and vanilla RL-finetuned frameworks.
• Abstract（参考訳）: 本稿では,視覚言語モデルにおける「textbf{thinking--answer consistency}」について検討する。 我々は視覚的意図的グラウンド(Visual Intention Grounding)に焦点を当て、モデルが人間の意図的クエリに基づいて対象オブジェクトを推論し、バウンディングボックスを予測する。 従来のIoUをベースとした強化学習(RL)フレームワークでは,異なる対象物を指している誤った推論プロセスがあるにもかかわらず,モデルが正しいバウンディングボックスを生成する「思考ドリフト」に悩まされていたことが明らかとなった。 そこで我々は,新しいRLパラダイムとして \textbf{Rita} (\textit{ReInforcing Thinking--Answer consistency}) を提案する。 具体的には、リタは2つの推論ラベルのないRL報酬を導入し、参照答えの条件付き確率から構成する: a \textbf{thinking reward} と a \textbf{consistency reward} である。 また、ロールアウトエラー率と報酬分散を用いてRLに対する情報的容易なサンプルを選択する、難易度を意識した \textbf{data filtering} 戦略も採用している。 EgoIntentionと新しいRefEgo-Intベンチマークに関する大規模な実験により、Ritaは教師付き微調整アプローチやバニラRLを微調整したフレームワークよりも一貫して優れたパフォーマンスを示している。

関連論文リスト

• Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization [47.64132795594338]
  事実指向の質問応答(QA)では、明示的な思考は、モデルが関連する知識を回復し、その答えを洗練させることによって、全体的なパフォーマンスを改善する。 我々は,非思考的なロールアウトをモデル参照として活用する強化学習フレームワークであるMARGOを提案する。
  論文  参考訳（メタデータ） (2026-07-07T05:34:25Z)
• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning [7.006180736433431]
  低レイテンシと高パフォーマンスを実現する検索関連モデルを構築することは、検索業界において長年の課題である。 我々は,新しいtextbfAnswer-First, Reason Later(AFRL)パラダイムを提案する。 このパラダイムでは、モデルが第1のトークンで決定的な関連性スコアを出力し、続いて構造化された論理的説明を行う必要がある。
  論文  参考訳（メタデータ） (2026-02-10T17:28:12Z)
• CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models [29.703793991791674]
  既存のRAG指向強化学習法は、文書の忠実さを評価するのにしばしば失敗する外部報酬に依存している。 コントラッシブ・ライリフッド・リワード(CLR)を中心とした新たな「内外的」ハイブリッド報酬枠組を提案する。 CLRは、エビデンスをサポートしないプロンプトで条件付けられたレスポンス間のログライクなギャップを直接最適化する。
  論文  参考訳（メタデータ） (2026-02-02T12:21:59Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。