論文の概要: A Principled Optimal Transport Framework for Frame Selection in Long Video Understanding

• arxiv url: http://arxiv.org/abs/2610.27692v1
• Date: Tue, 20 Oct 2026 06:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.66857
• Title: A Principled Optimal Transport Framework for Frame Selection in Long Video Understanding
• Title（参考訳）: 長時間映像理解におけるフレーム選択のための原理的最適移動フレームワーク
• Abstract要約: マルチモーダルLLMを用いた長時間ビデオ理解は、長さとモデルの限られた視覚的予算とのミスマッチによって制約される。 我々は複数のエビデンスソースをビデオフレームにマッピングする最適なトランスポートフレームワークであるOTFSを提案する。 OTFSは、トレーニングなしの強いベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 6.04645231967364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-video understanding with multimodal LLMs is fundamentally constrained by the mismatch between video length and the model's limited visual context budget, making frame selection essential for practical reasoning. Existing query-aware methods typically rely on heuristic pipelines: they assign one-dimensional query-conditioned scores to frames and then apply sampling, ranking, or extraction rules to form the final subset. While effective in practice, such methods are generally not derived from an explicit optimization objective and struggle to capture the heterogeneous evidence required for complex reasoning. In this paper, we revisit long-video frame selection from a principled optimization perspective. We formulate it as a structured evidence-allocation problem and propose OTFS, an optimal transport framework that maps multiple evidence sources onto video frames. To reflect the asymmetry of this problem---important evidence should be preserved, whereas redundant frames need not absorb mass---we instantiate this view with a semi-unbalanced entropic optimal transport objective and an efficient solver, OTFS-Sinkhorn. Combined with an exact dynamic program for coverage-aware subset extraction, OTFS yields a practical two-stage training-free pipeline. We further show that, in the single-source case, our formulation induces a Gibbs-type distribution over frames, making Q-Frame's temperature-scaled distribution a special case of our framework while also providing a broader perspective for understanding related prior methods. Experiments on three long-video understanding benchmarks show that OTFS consistently outperforms strong training-free baselines. Codes are available at https://github.com/barry664/OTFS.
• Abstract（参考訳）: マルチモーダル LLM を用いた長時間ビデオ理解は、ビデオ長とモデルの限られた視覚的コンテキスト予算とのミスマッチによって基本的に制限されており、実用的な推論にフレーム選択が不可欠である。 既存のクエリ対応手法は、一般にヒューリスティックパイプラインに依存しており、1次元のクエリ条件付きスコアをフレームに割り当て、サンプリング、ランキング、抽出ルールを適用して最終サブセットを形成する。 実効性はあるものの、そのような手法は一般に明示的な最適化の目的から派生しておらず、複雑な推論に必要な異質な証拠をつかむのに苦労している。 本稿では,原理的最適化の観点から,長ビデオフレームの選択を再考する。 構造化されたエビデンス配置問題として定式化し、複数のエビデンスソースをビデオフレームにマッピングする最適なトランスポートフレームワークであるOTFSを提案する。 この問題の非対称性を反映するため、重要な証拠は保存されるべきであるが、冗長なフレームは質量を吸収する必要はなく、この見方を半不均衡なエントロピー的最適輸送目標と効率的な解法 OTFS-Sinkhorn でインスタンス化する。 カバレッジを意識したサブセット抽出のための正確な動的プログラムと組み合わせることで、OTFSは実用的な2段階のトレーニング不要パイプラインを生成する。 さらに、単一ソースの場合、我々の定式化は、フレーム上のギブス型分布を誘導し、Q-Frameの温度スケール分布をフレームワークの特別なケースとし、関連する先行手法を理解するためのより広い視点を提供する。 3つの長ビデオ理解ベンチマークの実験は、OTFSが強いトレーニングなしのベースラインを一貫して上回っていることを示している。 コードはhttps://github.com/barry664/OTFS.comで入手できる。

関連論文リスト

• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs [81.04673240949074]
  強化学習は、大規模言語モデルの推論能力を改善した。 結果のみの報酬をビデオマルチモーダルな大規模言語モデルに適用することは、どの視覚的証拠が答えを支持するべきかを限定的なガイダンスを提供する。 本稿では,エビデンス対応ビデオ推論のための時間アノテーションフリープロセスレベル報酬フレームワークであるConsensus Frame GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-16T19:42:54Z)
• Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval [70.47320120707029]
  部分的関連性のあるビデオ検索は、部分的コンテンツのみを記述するテキストクエリを使って、未編集の動画を検索することを目的としている。 この設定では、曖昧なクエリはしばしばビデオ間のセマンティックなあいまいさを引き起こす。 我々は,多粒質のクロスモーダルな証拠を集約し,不確実性を定量化し,モデル化する階層的顕在的学習フレームワークであるHolmesを提案する。
  論文  参考訳（メタデータ） (2026-05-07T12:06:13Z)
• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering [13.370338205427911]
  長文のビデオ質問応答には、時間的コンテキストの拡張に対する推論が必要である。 類似性ベースのセレクタは高速だが、合成クエリを1つの高密度ベクトルに分解する。 このギャップを埋めるトレーニング不要のフレームワークであるHiMuを紹介します。
  論文  参考訳（メタデータ） (2026-03-19T07:11:53Z)
• Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
  Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。 トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-03-01T08:25:37Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Logic-in-Frames: Dynamic Keyframe Search via Visual Semantic-Logical Verification for Long Video Understanding [23.022070084937603]
  本稿では,視覚意味論理探索のパラダイムの下で選択を再構成する意味論的検索フレームワークを提案する。 提案手法は,キーフレーム選択の指標を手動でアノテートしたベンチマーク上で,新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2025-03-17T13:07:34Z)
• Exploring Motion Ambiguity and Alignment for High-Quality Video Frame Interpolation [46.02120172459727]
  本稿では,GTに近い中間フレームを可能な限り再構築する要件を緩和することを提案する。 本研究では,テクスチャ整合性損失 (TCL) を補間されたコンテンツが,与えられたフレーム内でのテクスチャ整合性損失 (TCL) と類似した構造を維持するべきであるという仮定に基づいて開発する。
  論文  参考訳（メタデータ） (2022-03-19T10:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。