論文の概要: CATS: Curvature Aware Temporal Selection for efficient long video understanding
- arxiv url: http://arxiv.org/abs/2605.09223v1
- Date: Sat, 09 May 2026 23:47:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.122977
- Title: CATS: Curvature Aware Temporal Selection for efficient long video understanding
- Title（参考訳）: CATS: 時間的選択を意識した時間的長めの理解
- Abstract要約: 本稿では,クエリフレーム関係の時間的幾何を明示的にモデル化する,曲率を考慮したフレーム選択法であるCATSを提案する。
固定されたバックボーンとフレームの予算の下では、CATSは従来よりずっと優れている。
LLM-as-a-judgeプロトコルを用いて記述生成を評価し,CATSがよりコヒーレントで情報的な出力を生成することを示す。
- 参考スコア（独自算出の注目度）: 4.5934466894135175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding long videos with multimodal large language models (MLLMs) requires selecting a small subset of informative frames under strict computational budgets, where exhaustive processing is infeasible and optimal selection is combinatorial. We propose CATS, a curvature-aware frame selection method that explicitly models the temporal geometry of query-frame relevance to identify salient events and their surrounding context. By leveraging temporal curvature to adapt selection density, CATS captures both abrupt transitions and gradually evolving content while suppressing redundant frames. Under a fixed backbone and frame budget, CATS consistently outperforms prior lightweight approaches such as AKS on LongVideoBench and VideoMME. While multi-stage methods such as MIRA achieve higher absolute accuracy, they incur substantial computational overhead; in contrast, CATS retains approximately 93-95% of MIRA's performance while requiring only 3-4% of its preprocessing cost, yielding a favorable efficiency-accuracy trade-off. Beyond answer accuracy, we evaluate description generation using an LLM-as-a-judge protocol, and the obtained results show that CATS produces more coherent and informative outputs, indicating improved grounding in visual evidence. These results position CATS as a computationally efficient and principled approach to long-video understanding.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)で長いビデオを理解するには、厳密な計算予算の下で情報フレームの小さなサブセットを選択する必要がある。
本稿では,問合せフレーム関係の時間的幾何を明示的にモデル化し,有意な事象とその周辺状況を特定するための曲率対応フレーム選択法であるCATSを提案する。
時間曲率を利用して選択密度を調整することにより、CATSは、冗長フレームを抑えながら、突然の遷移と徐々に変化するコンテンツの両方をキャプチャする。
固定バックボーンとフレームの予算の下では、CATSは、LongVideoBench上のAKSやVideoMMEのような、より軽量なアプローチを一貫して上回っている。
対照的に、CATSは前処理コストの3～4%しか必要とせず、MIRAのパフォーマンスの93～95%を保ち、効率と精度のトレードオフをもたらす。
回答精度以外にも,LCM-as-a-judgeプロトコルを用いた記述生成の評価を行い,CATSがより一貫性のある情報出力を生成し,視覚的エビデンスの改善を示す結果を得た。
これらの結果は、CATSを長ビデオ理解のための計算効率が高く原則化されたアプローチとして位置づけている。
関連論文リスト
- MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding [17.82627304498428]
長いビデオの理解は、大きな言語モデルでは依然として困難である。
最近の無訓練選択法はより効率的な推論を可能にしている。
本稿では,マルチモーダル選択をサブセット認識の欲求最適化として定式化するフレームワークであるMarKeyを提案する。
論文 参考訳（メタデータ） (2026-09-14T11:39:20Z) - Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding [54.840531495584095]
本稿では,MLLMの内部的注意証拠をベースとした動的視覚選択フレームワークEviSelectを提案する。
本手法は,高度に圧縮された視覚入力とスパースアテンションを用いて,ターゲットMLLMのマップを効率的に近似する。
EviSelectは既存の方法に比べて優れたパフォーマンスを実現し、選択したビジュアルトークンを約50%削減し、エンドツーエンドのスピードアップを3.9倍に向上させる。
論文 参考訳（メタデータ） (2026-08-06T09:15:43Z) - Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding [55.04091863981529]
LVLM(Large Vision-Language Models)は、一様サンプリングに伴う計算コストと情報損失により、長いビデオ理解において重大な課題に直面している。
本稿ではGMM-EVAを提案する。GMM-EVAはガウス混合モデルを用いて離散フレームからイベントレベルの構造をモデル化する。
次に、時間的文脈を維持しトークン予算を最適化するために低分解能二次観測を用いながら、高忠実度詳細のためにイベント毎の1次高分解能を1つ保持するために、分化したアロケーション戦略を適用する。
論文 参考訳（メタデータ） (2026-07-14T09:27:25Z) - LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。
LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。
計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
論文 参考訳（メタデータ） (2026-05-17T05:02:52Z) - Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。
ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。
本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T15:02:50Z) - Think-Clip-Sample: Slow-Fast Frame Selection for Video Understanding [18.742640666790827]
Think-Clip-Sample(TCS)はトレーニング不要のフレームワークで、2つの重要なコンポーネントによる長いビデオ理解を強化する。
MLVU、LongVideoBench、VideoMMEの大規模な実験により、TCSは異なるMLLM間のパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-01-16T15:14:04Z) - Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。
視覚エコー」は「視覚エコー」という時間的冗長性を有する
AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。
我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
論文 参考訳（メタデータ） (2025-08-05T11:31:55Z) - Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders [62.58375366359421]
長いビデオ理解のためのマルチモーダル大言語モデル(MLLM)は依然として難しい問題である。
伝統的な一様サンプリングは、無関係な内容の選択につながる。
数千フレームの訓練後のMLLMは、かなりの計算負担を課す。
本研究では,物語付きスレッディング(Nar-KFC)を提案する。
論文 参考訳（メタデータ） (2025-05-30T03:04:28Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter [77.0205013713008]
Text-Video Retrieval (TVR)は、関連するビデオコンテンツと自然言語クエリを連携させることを目的としている。
現在までに、ほとんどの最先端のTVR手法は、大規模な事前学習された視覚モデルに基づいて、画像からビデオへの変換学習を学習している。
パラメータ化層数で事前学習モデルの微調整を行うためのスパース・アンド・コラージュAdaPter (RAP) を提案する。
論文 参考訳（メタデータ） (2024-05-29T19:23:53Z) - Convex Hull Prediction for Adaptive Video Streaming by Recurrent Learning [38.574550778712236]
本稿では,コンテンツ認識凸船体予測の深層学習に基づく手法を提案する。
再帰的畳み込みネットワーク(RCN)を用いて,映像の複雑さを暗黙的に解析し,その凸殻を予測する。
提案するモデルでは, 最適凸殻の近似精度が向上し, 既存の手法と比較して, 競争時間の節約が期待できる。
論文 参考訳（メタデータ） (2022-06-10T05:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。