論文の概要: From Label Priors to Task Evidence: Efficient Long-Video Frame Selection via Bayesian GRPO

• arxiv url: http://arxiv.org/abs/2610.25418v1
• Date: Sun, 18 Oct 2026 17:17:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:39:44.666724
• Title: From Label Priors to Task Evidence: Efficient Long-Video Frame Selection via Bayesian GRPO
• Title（参考訳）: ラベルからタスクエビデンスへ:ベイジアンGRPOによる効率的な長ビデオフレーム選択
• Abstract要約: 本稿では,フレーム選択を潜在変数推論として再構成する確率的フレームワークを提案する。 Video-MME, MLVU, LongVideoBenchの実験により, MLLMを用いたスコアラーによるセレクタの競争精度が向上することを示した。
• 参考スコア（独自算出の注目度）: 38.09017548835621
• License:
• Abstract: Multimodal Large Language Models (MLLMs) face significant scalability challenges in long-video understanding due to quadratic attention complexity and context window constraints. Existing retrieval-based approaches typically rely on supervised learning from static keyframe annotations. However, these label priors often fail to align with the actual information required by downstream MLLMs for complex reasoning, creating a misalignment between the training target and inference needs. To bridge this gap, we propose a probabilistic framework that reformulates frame selection as latent-variable inference. We first initialize a lightweight policy using supervised learning to capture general visual saliency. Then, we treat a frozen MLLM as a task environment and use its answer likelihood as dense task evidence to refine the policy via Bayesian Group Relative Policy Optimization (GRPO). Within this formulation, the negative log-likelihood (NLL) over ground-truth answer tokens provides a principled dense reward, while a prior-matching KL term preserves semantic consistency with the elicited label prior. This process transitions the selection principle from static label priors to task evidence. Extensive experiments on Video-MME, MLVU, and LongVideoBench demonstrate that our selector achieves competitive accuracy with MLLM-based scorers while retaining the inference efficiency of lightweight methods. The selector is trained once with a frozen MLLM environment and transfers directly to multiple downstream MLLMs without retraining. Code is available at \url{github.com/Miraclecsc/Frame_Selection_GRPO}.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、2次注意の複雑さとコンテキストウィンドウの制約により、長時間ビデオ理解において大きなスケーラビリティ上の課題に直面している。 既存の検索ベースのアプローチは通常、静的なキーフレームアノテーションからの教師あり学習に依存します。 しかし、これらのラベルの先行情報は、複雑な推論のために下流MLLMが必要とする実際の情報と一致せず、トレーニング対象と推論ニーズの相違を生じることが多い。 このギャップを埋めるために,フレーム選択を潜在変数推論として再構成する確率的枠組みを提案する。 まず、教師付き学習を用いて、一般的な視覚的満足度を捉える軽量なポリシーを初期化する。 そして,凍結MLLMをタスク環境として扱い,その解答確率を密密タスク証拠として利用して,ベイズグループ相対政策最適化(GRPO)を通じて政策を洗練させる。 この定式化の中では、接地的真正解トークン上の負対数様式(NLL)は、原則化された高次報酬を与える一方、事前マッチングKL項は、前述したラベルとのセマンティック一貫性を保持する。 このプロセスは、選択原理を静的ラベル先行からタスクエビデンスに移行させる。 Video-MME, MLVU, LongVideoBenchの大規模な実験により, 軽量手法の推論効率を維持しつつ, MLLMベースのスコアラーとの競合精度を実現することができた。 セレクタは、凍結したMLLM環境で一度トレーニングされ、再トレーニングすることなく、直接複数の下流MLLMに転送される。 コードは \url{github.com/Miraclecsc/Frame_Selection_GRPO} で公開されている。

関連論文リスト

• Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding [54.840531495584095]
  本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。 本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。 EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
  論文  参考訳（メタデータ） (2026-08-06T09:15:43Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation [48.30592530624143]
  Video Reasoningは、人間の意図と時間的ロジックを伝える暗黙の指示に基づいて、対象のオブジェクトをビデオに分割することを目的としている。 既存のMLLMベースの手法では,単純なサンプリングや補助MLLMを用いてフレームを選択した後,[SEG]トークンでマスクを予測する。 RCoT-SegはVRSを時間的ビデオ(TVR)と目標知覚(KTP)に分解するビデオ・オブ・思想のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:39:53Z)
• Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding [48.14432643308697]
  長いビデオ理解は、マルチモーダルな大規模言語モデルにとって非常に難しい課題です。 Q-Gateは、選択を動的モダリティルーティング問題として扱うプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2026-04-19T13:04:18Z)
• Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation [55.743701532984126]
  我々はTrajSegを提案する。TrajSegはマルチモーダル大規模言語モデル上に構築されたシンプルで統一されたフレームワークである。 本研究では,MLLMが接頭辞(テキスト・トゥ・トラジェクティブ)と接頭辞(テキスト・トゥ・テキスト)の指示を受理する双方向テキスト・トラジェクティブアライメントを提案する。 このようにして、MLLMは、ビデオの対応性の向上と、より知覚的なオブジェクトの軌跡の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2026-03-23T02:25:51Z)
• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding [25.675553077419274]
  MLLM(Multimodal Language Models)は、視覚タスクにおいて大きな進歩を見せている。 本稿では、MLLMの長文ビデオ言語理解を強化学習により促進する時間サンプリングポリシー最適化(TSPO)を提案する。 我々のTSPOは、複数の長いビデオ理解ベンチマークにまたがって最先端のビデオMLLM間での転送能力を示す。
  論文  参考訳（メタデータ） (2025-08-06T12:03:36Z)
• GLUS: Global-Local Reasoning Unified into A Single Large Language Model for Video Segmentation [22.769692511220327]
  本稿では、ビデオオブジェクトセグメンテーション(RefVOS)の参照にMLLM(Multi-modal large language model)を利用する新しいフレームワークを提案する。 本フレームワークは,グローバルかつ局所的な一貫性を単一のビデオセグメンテーションMLLMに統合可能であることを示す。 MLLMの限られたコンテキストウィンドウ内での情報効率を向上させるために,ハード偽陽性オブジェクトを識別するためのオブジェクトコントラスト学習を導入する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:55Z)
• SocialGPT: Prompting LLMs for Social Relation Reasoning via Greedy Segment Optimization [70.11167263638562]
  社会的関係推論は、友人、配偶者、同僚などの関係カテゴリを画像から識別することを目的としている。 まず、VFM(Vision Foundation Models)の知覚能力と、モジュラーフレームワーク内でのLLM(Large Language Models)の推論能力を組み合わせた、シンプルだが巧妙な名前のフレームワークを提示する。
  論文  参考訳（メタデータ） (2024-10-28T18:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。