論文の概要: Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
- arxiv url: http://arxiv.org/abs/2611.06728v1
- Date: Wed, 04 Nov 2026 16:16:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.200161
- Title: Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
- Title(参考訳): Turns Matter:ターンレベルクレジットによるビデオRLの強化
- Abstract要約: 学習を個別のストリーミング決定と整合させるターンレベルのGRPOフレームワークであるTurnWiseを提案する。
TurnWiseは、軌道レベルのフィードバックとターンレベルのインタラクションのミスマッチに対処し、情報的応答を促進する。
提案手法は,ストリーミング映像理解における従来のRL手法よりも優れていた。
- 参考スコア(独自算出の注目度): 70.7973123597268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming video understanding requires models to repeatedly decide whether to respond or continue observing. Recently, Group Relative Policy Optimization (GRPO) has been applied to this setting, with existing approaches emphasizing reward design while retaining a single trajectory-level advantage across turns. Such shared credit can reinforce redundant replies after earlier successes and discourage useful follow-ups after earlier failures. We propose TurnWise, a turn-level GRPO framework that aligns learning with individual streaming decisions. TurnWise addresses the mismatch between trajectory-level feedback and turn-level interaction, promoting informative responses and reducing redundancy. Specifically, turn-level credit assignment uses silence-completed prefix scoring to construct group-relative advantages from each decision's remaining return, separating its learning signal from earlier rewards. Turn-mean policy optimization averages token losses within each turn and then across turns, giving response and waiting decisions equal weight regardless of output length. These complementary designs improve streaming policy learning without a learned critic or additional rollouts. Extensive experiments show our method outperforms prior RL approaches for streaming video understanding.
- Abstract(参考訳): ビデオ理解をストリーミングするには、モデルが繰り返し応答するか、観察を続けるかを決定する必要がある。
近年,グループ相対政策最適化 (GRPO) が適用され,既存のアプローチでは報酬設計が重視されている。
このような共有クレジットは、初期の成功の後、冗長なリプライを強化し、初期の失敗後に有用なフォローアップを妨げます。
学習を個別のストリーミング決定と整合させるターンレベルのGRPOフレームワークであるTurnWiseを提案する。
TurnWiseは、軌道レベルのフィードバックとターンレベルのインタラクションのミスマッチに対処し、情報的応答を促進し、冗長性を低減します。
具体的には、ターンレベルのクレジット代入では、サイレント完備したプレフィックススコアを使用して、各決定の残りのリターンからグループ相対的なアドバンテージを構築し、学習信号を以前の報酬から分離する。
ターン平均ポリシー最適化は各ターン内および各ターン間のトークン損失を平均化し、応答と待ち行列は出力長に関係なく等しい重みを与える。
これらの補完的なデザインは、学習した批評家や追加のロールアウトなしでストリーミングポリシー学習を改善する。
大規模な実験により,本手法はストリーミングビデオ理解のためのRL手法よりも優れていた。
関連論文リスト
- Generative Value Classifier [86.39096745224855]
状態-作用対の値を予測する関数を学習するための新しいアプローチを提案する。
状態-作用ペアの戻りを直接予測するのではなく、逆の質問に答える。
オフラインとオンラインの両方のRLタスクに対する我々のアプローチを評価し、主要な差別的手法よりも優位性を示す。
論文 参考訳(メタデータ) (2026-10-15T18:00:30Z) - SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。
我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
論文 参考訳(メタデータ) (2026-09-29T05:15:41Z) - SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL [6.238212335422264]
グループ相対強化学習は、同じプロンプトの兄弟ロールアウトを待つ。
トラジェクトリセンタリングは一般的に,アクターが消費するトークン重み付け量を中心にしないことを示す。
また、学習者の受取命令ではなく、それを生成する政策イベントによって、プロンプトエビデンスを整理する。
論文 参考訳(メタデータ) (2026-08-25T17:52:19Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳(メタデータ) (2026-06-10T01:35:34Z) - What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。
既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。
環境重み付け学習フレームワークであるSERLを紹介する。
論文 参考訳(メタデータ) (2026-05-19T07:00:55Z) - From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding [35.008790179255136]
本稿では,ハードケースにおける学習を促進するグループ・リビジョン最適化パラダイムを提案する。
報酬形成にインスパイアされ,初期試行よりも各候補者の改善を定量化する統合プロセスを導入する。
提案手法は,従来のGRPOモデルと比較して,参照と推論のセグメンテーション,REC,およびカウントのベンチマークで一貫したゲインを実現する。
論文 参考訳(メタデータ) (2026-05-15T13:41:41Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳(メタデータ) (2025-05-30T15:42:19Z) - ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。
ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。
ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
論文 参考訳(メタデータ) (2025-05-21T12:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。