論文の概要: Confident First, Reflective Second: Reinforcement Learning of Confidence-Preserving Reflection for Video Understanding

• arxiv url: http://arxiv.org/abs/2610.36467v1
• Date: Tue, 27 Oct 2026 01:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.220319
• Title: Confident First, Reflective Second: Reinforcement Learning of Confidence-Preserving Reflection for Video Understanding
• Title（参考訳）: 信頼第一, 反射第二: 映像理解のための信頼保存反射の強化学習
• Abstract要約: 強化学習が最初の答えを損なうことが分かりました。 エラーは後で修正できるので、正しい初期解答は報酬を減らし、最終解答が上昇しても最初の解答は停止する。 第一に、第一に、第一に、第一に、第二に、自信を持て、という原則を提案する。
• 参考スコア（独自算出の注目度）: 37.42278859373492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video models answer from sampled frames and may miss the decisive moment. A common remedy is to commit to an answer, re-examine the video, and confirm or revise it, a loop now mainly learned with reinforcement learning (RL). We find that RL erodes the initial answer, a phenomenon we term confidence erosion, where confidence means the label-verified reliability of the initial answer instead of self-reported certainty: because errors can be repaired later, a correct initial answer earns less reward, and the initial answer stalls even as the final answer's gain over it rises. We propose the principle confident first, reflective second: the initial answer must stay reliable on its own, above a floor set by a reference policy, and reflection may only add to it. Our method, CoFire, implements this principle with one mechanism for each erosion channel: reward incentives, parameter drift, and gradient interference. CoFire reaches 67.0% mean accuracy on Video-MME, MLVU, and LongVideoBench, 1.7 points above the strongest compared 7B method, and improves initial-answer and final accuracy over outcome-reward RL by 4.1 and 3.7 points on average: a stronger initial answer carries through to a stronger final one.
• Abstract（参考訳）: ビデオモデルは、サンプリングされたフレームから応答し、決定的な瞬間を逃す可能性がある。 一般的な治療法は、答えをコミットし、ビデオを再検査し、それを確認または修正することであり、現在、ループは主に強化学習(RL)で学習されている。 RL が初期回答を侵食する現象である信頼侵食(英語版)という現象は、信頼とは、自己報告された確実性ではなく、初期回答のラベルが証明された信頼性を意味する: エラーを後で修正できるため、正しい初期回答は報酬を減らし、最終回答が上昇しても初期回答は行き詰まる。 第一に、第一に、第一に、第二に、第一の答えは、参照ポリシーによって設定されたフロアの上に、自分自身で信頼性を維持しなければならない。 提案手法であるCoFireは,各浸食チャネルに対して,報奨インセンティブ,パラメータドリフト,勾配干渉の1つのメカニズムを用いて,この原理を実装している。 CoFireは、ビデオMME、MLVU、LongVideoBenchの平均精度67.0%に達し、最強比較7B法よりも1.7ポイント高く、結果回帰RLよりも平均4.1ポイント、最終精度が3.7ポイント向上する。

関連論文リスト

• ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry [7.440703574961596]
  自己蒸留は、個別に訓練された、より有能な教師なしで推論を改善することができる。 リフレクションは、自己生成の試みから明示的なエラー診断と修正ガイダンスを引き出す方法を提供する。 リフレクティブな自己蒸留フレームワークであるReTeachを紹介する。
  論文  参考訳（メタデータ） (2026-10-08T08:58:01Z)
• CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning [8.460516555473747]
  CoT推論(Chain-of- Thought, CoT)はLLM性能を向上させることができるが、それに伴うCoT論理が不完全あるいは不十分な場合に、高い応答信頼度が誤解を招く可能性がある。 我々は、モデルがコミットした回答に対する信頼が、生成した根拠によって正当化されるかどうか、信頼-規制の整合性について研究する。 本稿では,GRPOに基づく強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-12T21:10:33Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice [88.93674345138054]
  CoT推論(Chain-of-thinkt)は、ビデオ理解タスクにおけるマルチモーダルな大規模言語モデルのための強力なツールとして登場した。 本稿では,ビデオ理解フレームワークであるVideoAuto-R1を提案する。
  論文  参考訳（メタデータ） (2026-01-08T18:00:59Z)
• Think-Reflect-Revise: A Policy-Guided Reflective Framework for Safety Alignment in Large Vision Language Models [58.17589701432514]
  Think-Reflect-Revise (TRR)は、LVLM(Large Vision Language Models)の安全性向上を目的としたトレーニングフレームワークである。 まず、リフレクティブセーフティ推論(ReSafe)データセットを5000の例で構築し、シンク・リフレクティブ・リフレクティブ・プロセスに従っています。 次に、ReSafeデータセットを用いてターゲットモデルを微調整し、反射行動の初期化を行い、最後に強化学習を通じてポリシー誘導反射を強化する。
  論文  参考訳（メタデータ） (2025-12-08T03:46:03Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。