論文の概要: Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

• arxiv url: http://arxiv.org/abs/2512.04000v1
• Date: Wed, 03 Dec 2025 17:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 20:02:55.401166
• Title: Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
• Title（参考訳）: Divide, then Ground: 長いビデオ理解のためのクエリタイプにフレーム選択を適用する
• Authors: Jialuo Li, Bin Li, Jiahao Li, Yan Lu,
• Abstract要約: そこで本研究では,クエリタイプに基づいた学習自由なフレーム選択フレームワークを提案する。 3つの長いビデオ理解ベンチマークの実験は、DIGが既存のベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 21.18266593437182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.
• Abstract（参考訳）: LMM(Large Multimodal Models)の長期ビデオ理解への応用は、コンテキスト長の制限と、高密度ビデオトークン処理の計算的禁止コストによって制限される。 その結果、近年の研究はクエリ対応のフレーム選択に焦点を合わせており、しばしば計算オーバーヘッドが大幅に増大する。 本稿では,このような複雑な探索機構が普遍的に必要であるという仮定に挑戦する。 まず、グローバルクエリとローカライズドクエリを区別したクエリの型を同定し、検証する。 グローバルなクエリでは一様サンプリングが効果的かつ効率的であるのに対して,ローカライズされたクエリは,最適なクエリアウェアの選択を必要とすることが実証された。 この知見に基づいて,クエリタイプに基づいてその戦略を適応する,トレーニング不要なフレーム選択フレームワークであるDIGを提案する。 具体的には、グローバルクエリの効率的な一様サンプリングと、ローカルクエリのクエリ関連フレーム抽出のための特別なパイプラインのアクティベートを実現している。 3つの長文ビデオ理解ベンチマークの実験により、DIGは既存のベースラインを一貫して上回り、入力フレームを256にスケーリングしてもLMM性能を安定的に向上することを示した。

関連論文リスト

• Beyond Caption-Based Queries for Video Moment Retrieval [60.31221310786333]
  キャプションベースのクエリでトレーニングしたVMR手法の劣化について検討するが,検索クエリで評価した。 3つのパブリックVMRデータセットでテキストクエリを変更することで、3つのベンチマークを導入する。 提案手法は,検索クエリの性能を最大14.82% mAP_m,マルチモーメント検索クエリ最大21.83% mAP_mで改善する。
  論文  参考訳（メタデータ） (2026-03-02T20:06:41Z)
• When should I search more: Adaptive Complex Query Optimization with Reinforcement Learning [26.489185170468062]
  適応複雑クエリ最適化(ACQO)と呼ばれる新しいRLフレームワークを提案する。 我々のフレームワークは、いつ、どのように検索プロセスを拡張するかを適応的に決定するように設計されている。 ACQOは3つの複雑なクエリベンチマークで最先端のパフォーマンスを達成し、確立されたベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-29T03:16:53Z)
• Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
  PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。 エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。 エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2026-01-27T00:46:08Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• LOVO: Efficient Complex Object Query in Large-Scale Video Datasets [11.821229903544404]
  LOVOは、comp$underlineL$ex $underlineO$bjectクエリを大規模$underlineV$ide$underlineO$データセットで効率的に扱うように設計された新しいシステムである。 ユーザクエリに依存しないLOVOは、事前トレーニングされたビジュアルエンコーダを使用して、ワンタイムの機能抽出を実行し、キーフレームに対するコンパクトなビジュアル埋め込みを生成する。 クエリフェーズの間、LOVOはオブジェクトクエリをクエリの埋め込みに変換し、視覚的な埋め込みの近傍の高速な探索を行う。
  論文  参考訳（メタデータ） (2025-07-18T18:21:43Z)
• AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding [73.60257070465377]
  AdaVideoRAGは、軽量なインテント分類器を使用して、クエリ複雑性に基づいた検索に適応する新しいフレームワークである。 我々のフレームワークは、Omni-Knowledge Indexingモジュールを使用して、テキスト(キャプション、ASR、OCR)、視覚的特徴、セマンティックグラフから階層データベースを構築する。 実験では、既存のMLLMにシームレスに統合することで、長時間ビデオ理解のための効率と精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-06-16T15:18:15Z)
• POQD: Performance-Oriented Query Decomposer for Multi-vector retrieval [8.05982973499578]
  Performance-Oriented Query Decomposer (POQD)は、Multi-Retrieval(MVR)のための新しいクエリ分解フレームワークである。 POQDは、Retrieval-Augmented Generation (RAG)システムのような任意の検索ベースのシステムにシームレスに統合できる。
  論文  参考訳（メタデータ） (2025-05-25T15:31:52Z)
• Logic-in-Frames: Dynamic Keyframe Search via Visual Semantic-Logical Verification for Long Video Understanding [23.022070084937603]
  本稿では,視覚意味論理探索のパラダイムの下で選択を再構成する意味論的検索フレームワークを提案する。 提案手法は,キーフレーム選択の指標を手動でアノテートしたベンチマーク上で,新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2025-03-17T13:07:34Z)
• Action tube generation by person query matching for spatio-temporal action detection [0.0]
  方法は、IoUベースのリンクやクリップ分割のような後処理ステップに頼ることなく、オリジナルビデオからアクションチューブを生成する。 提案手法では,各フレームに問合せに基づく検出(DETR)を適用し,同一人物をフレーム間でリンクするDETRクエリとマッチングする。 アクションクラスはQMMマッチングから得られたクエリのシーケンスを用いて予測され、単一のクリップよりも長いビデオから可変長の入力が可能になる。
  論文  参考訳（メタデータ） (2025-03-17T09:26:06Z)
• Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
  知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。 近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。 コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:18:52Z)
• Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
  テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。 本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。 本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
  ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。 提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-14T20:31:06Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。