論文の概要: ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

• arxiv url: http://arxiv.org/abs/2506.01274v1
• Date: Mon, 02 Jun 2025 03:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.271142
• Title: ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding
• Title（参考訳）: ReFoCUS:文脈理解のための強化誘導フレーム最適化
• Authors: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro,
• Abstract要約: ReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)は、新しいフレームレベルのポリシー最適化フレームワークである。 ReFoCUSは、参照LMMから派生した報酬信号を用いて、フレームに対するモデル固有の嗜好を反映して、強化学習を通じてフレーム選択ポリシーを学習する。 提案手法は複数のビデオQAベンチマークにおける推論性能を継続的に改善する。
• 参考スコア（独自算出の注目度）: 52.050036778325094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.
• Abstract（参考訳）: 近年のLMM(Large Multi-modal Models)の進歩は視覚言語推論を効果的に実現しているが、ビデオコンテンツを理解する能力は、最適なフレーム選択戦略によって制限されている。 既存のアプローチは、しばしば静的ヒューリスティックや外部検索モジュールに頼り、フレーム情報をビデオLLMにフィードする。 本研究では、テキスト応答から視覚入力選択へ最適化対象をシフトする新しいフレームレベルポリシー最適化フレームワークであるReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)を紹介する。 ReFoCUSは強化学習を通じてフレーム選択ポリシーを学習し、参照LMMから派生した報酬信号を用いて、時間的接地応答を最も支持するフレームに対するモデル固有の嗜好を反映する。 大規模な組合せフレーム空間を効率的に探索するために,複雑性を低減しつつ時間的コヒーレンスを確保する自己回帰的条件選択アーキテクチャを用いる。 提案手法では,フレームレベルの明示的な監視を必要とせず,複数のビデオQAベンチマークにおける推論性能を一貫して向上させ,フレーム選択とモデル内部ユーティリティの整合性を強調している。

関連論文リスト

• Scaling Test-Time Inference with Policy-Optimized, Dynamic Retrieval-Augmented Generation via KV Caching and Decoding [2.368662284133926]
  本稿では,動的検索戦略と強化微調整により,RAG(Retrieval-Augmented Generation)システムを強化する枠組みを提案する。 我々のフレームワークは2つの補完手法を統合している: Policy-d Retrieval Augmented Generation (PORAG)とAdaptive Token-Layer Attention Scoring (ATLAS)。 我々のフレームワークは幻覚を減らし、ドメイン固有の推論を強化し、従来のRAGシステムよりも優れた効率とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2025-04-02T01:16:10Z)
• Adaptive Video Understanding Agent: Enhancing efficiency with dynamic frame sampling and feedback-driven reasoning [29.89820310679906]
  本稿では,長大な映像理解の効率性と有効性を両立させるエージェントベース手法を提案する。 提案手法の重要な側面はクエリ適応型フレームサンプリングであり,LLMの推論能力を利用して,最も関連性の高いフレームのみをリアルタイムに処理する。 提案手法を複数のビデオ理解ベンチマークで評価し,最先端性能の向上だけでなく,サンプリングしたフレーム数を削減して効率の向上を図っている。
  論文  参考訳（メタデータ） (2024-10-26T19:01:06Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Temporal Consistency Learning of inter-frames for Video Super-Resolution [38.26035126565062]
  ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 本稿では,再建されたビデオの一貫性を高めるため,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-03T08:23:57Z)
• MHSCNet: A Multimodal Hierarchical Shot-aware Convolutional Network for Video Summarization [61.69587867308656]
  本稿では,MHSCNetと呼ばれるマルチモーダル階層型ショット・アウェア・畳み込みネットワークを提案する。 学習したショット認識表現に基づいて、MHSCNetは、ビデオのローカルおよびグローバルビューにおけるフレームレベルの重要度スコアを予測することができる。
  論文  参考訳（メタデータ） (2022-04-18T14:53:33Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。