論文の概要: Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2606.12125v1
- Date: Wed, 10 Jun 2026 14:19:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.502186
- Title: Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding
- Title（参考訳）: Q-Fold: 長いビデオ理解のためのクエリ対応フォーカスコンテキスト時空間フォルダリング
- Authors: Biao Tang, Xu Chen, Shuxiang Gou, Jingyi Yuan, Yuhan Zhang, Chenqiang Gao,
- Abstract要約: 長時間ビデオ理解のためのトレーニング不要な入力構築フレームワークQ-Foldを提案する。
孤立フレームを基本モデリング単位として扱う代わりに、Q-Foldは連続時間セグメントで動作する。
実験によると、Q-Foldは入力予算を増やさずに、継続的に性能を改善する。
- 参考スコア（独自算出の注目度）: 24.403140075177518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-video understanding remains challenging for multimodal large language models, because temporally extended videos often contain thousands of frames and are therefore expensive to process exhaustively. Existing methods usually construct compact visual inputs from long videos under a limited visual budget. However, most of them still follow a frame-centric paradigm and apply similar representations to retained content regardless of its importance. This makes it difficult to preserve both high-fidelity visual evidence and broad temporal coverage. To address this issue, we propose Q-Fold, a training-free input construction framework for long-video understanding. Instead of treating isolated frames as the basic modeling unit, Q-Fold operates on contiguous temporal segments and constructs a heterogeneous Focus--Context representation under query guidance. Query-relevant segments are preserved as high-fidelity Focus Frames, while less relevant segments are folded into chronology-preserving contextual layouts. In this way, Q-Fold preserves critical visual evidence and broad temporal coverage, while better maintaining local temporal continuity within short segments. Experiments on four long-video benchmarks with multiple Video-MLLMs show that Q-Fold consistently improves performance without increasing the input budget. Notably, it achieves gains of up to 9.1 percentage points on an ultra-long video benchmark. Code will be made publicly available.
- Abstract（参考訳）: 時間的に拡張されたビデオには数千のフレームが含まれており、従って排他的に処理するコストがかかるため、マルチモーダルな大規模言語モデルでは長いビデオ理解は依然として困難である。
既存の手法は通常、限られた視覚予算の下で、長いビデオからコンパクトな視覚入力を構築する。
しかし、それらの多くは依然としてフレーム中心のパラダイムに従っており、その重要性に関わらず、保持されたコンテンツに類似した表現を適用している。
これにより、高忠実度視覚的証拠と広範囲の時間的カバレッジの両方を維持することが困難になる。
この問題に対処するために,長時間ビデオ理解のためのトレーニング不要な入力構築フレームワークQ-Foldを提案する。
孤立フレームを基本モデリング単位として扱う代わりに、Q-Foldは連続時間セグメントで動作し、クエリガイダンスの下で異質なFocus-Context表現を構築する。
クエリ関連セグメントは高忠実なフォーカスフレームとして保存されるが、関連性の低いセグメントは時系列保存のコンテキストレイアウトに折り畳まれる。
このように、Q-Foldは、重要な視覚的証拠と幅広い時間的カバレッジを保持し、短いセグメント内の局所的時間的連続性をより良く維持する。
複数のビデオMLLMを用いた4つの長ビデオベンチマーク実験により、Q-Foldは入力予算を増やさずに、一貫して性能を改善することが示された。
特に、超長いビデオベンチマークで最大9.1ポイントのゲインを達成している。
コードは公開されます。
関連論文リスト
- ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting [17.594941754364484]
Video Large Language Models (VideoLLMs) は多様なマルチモーダルビデオタスクで高いパフォーマンスを実現している。
高精細ビデオフレーム処理の計算コストを低減するため,フレーム選択などの効率指向手法が広く採用されている。
本稿では、VPとKFM(Keyword-Frame Mapping)モジュールを組み合わせたトレーニングフリーフレームワークであるViKeyを紹介する。
論文 参考訳（メタデータ） (2026-03-24T13:32:52Z) - From Frames to Clips: Efficient Key Clip Selection for Long-Form Video Understanding [43.82717677801915]
ビデオ大言語モデル(VLM)は様々な視覚言語タスクにおいて顕著な成果を上げている。
生のビデオフレームから生成される膨大な数の視覚トークンが、モデルのコンテキストウィンドウを消費する。
分離されたキーフレームからキークリップへの選択を、短い時間的コヒーレントなセグメントに拡張することで、ビデオの理解が向上することを示す。
論文 参考訳（メタデータ） (2025-10-02T17:43:01Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - KFFocus: Highlighting Keyframes for Enhanced Video Understanding [33.69757683688046]
KFFocusは,ビデオトークンを効率よく圧縮し,映像フレーム内に存在する情報的コンテキストを強調する手法である。
KFFocusは、コンテキスト関連性に基づいてフレームに様々な凝縮率を割り当てることで、情報コンテンツの詳細を保存しつつ、トークンの冗長性を効率的に低減する。
また,ビデオフレーム間の時間的関係と各フレーム内の空間構造をエンコードするマルチモーダルモデリングモジュールを導入する。
論文 参考訳（メタデータ） (2025-08-12T14:57:03Z) - InfLVG: Reinforce Inference-Time Consistent Long Video Generation with GRPO [73.33751812982342]
InfLVGは、追加のロングフォームビデオデータを必要としないコヒーレントなロングビデオ生成を可能にする推論時フレームワークである。
InfLVGはビデオ長を最大9$times$まで拡張でき、シーン間の一貫性とセマンティック忠実性を実現することができる。
論文 参考訳（メタデータ） (2025-05-23T07:33:25Z) - Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。
従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。
本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。
本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
論文 参考訳（メタデータ） (2025-03-26T01:47:42Z) - HierarQ: Task-Aware Hierarchical Q-Former for Enhanced Video Understanding [14.464718780172582]
タスク対応の階層型Q-FormerベースのフレームワークであるHierarQを導入する。
ビデオ理解にタスク認識を組み込むために,軽量な2ストリーム言語誘導機能変調器を導入する。
ビデオ理解、質問応答、キャプションタスクにわたる10の動画ベンチマークの大規模な評価は、HierarQの最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2025-03-11T16:21:23Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。
DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。
時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
論文 参考訳（メタデータ） (2024-10-22T21:21:37Z) - Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for
Long-form Video Understanding [57.917616284917756]
実世界のビデオは、しばしば数分間の長さであり、意味的に一貫した長さのセグメントがある。
長いビデオを処理するための一般的なアプローチは、一定時間の長さの一様にサンプリングされたクリップにショートフォームビデオモデルを適用することである。
このアプローチは、固定長のクリップがしばしば冗長または非形式的であるため、長いビデオの基本的な性質を無視する。
論文 参考訳（メタデータ） (2023-09-20T18:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。