論文の概要: Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
- arxiv url: http://arxiv.org/abs/2609.11899v1
- Date: Thu, 10 Sep 2026 17:53:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.478682
- Title: Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
- Title（参考訳）: フレーム・オン・デマンド(Frames-on-Demand): 予算対応型エージェント・ロング・ビデオ理解のためのビジュアル・ネッド・ルーティング
- Abstract要約: エッジデバイスに対する長いビデオ理解は、厳格な計算と帯域幅の予算の下で何時間ものコンテンツを引き起こす必要がある。
予算対応のエッジクラウドエージェントフレームワークであるCaption-once, Frames-onDemandを提案する。
長時間ビデオベンチマークの実験では、オンラインビジュアル処理を大幅に削減しながら、高い精度と効率のトレードオフを示す。
- 参考スコア（独自算出の注目度）: 59.773752487686444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-video understanding on edge devices must reason over hours of content under tight compute and bandwidth budgets. Subsampling visual tokens loses temporal structure, while text-only video memories lose fine-grained visual attributes. We observe a visual-textual duality: language memories carry long-range temporal structure better than dense frames, while pixels remain decisive for attribute-level perception. Building on this insight, we propose Caption-once, Frames-onDemand (CFD), a budget-aware edge-cloud agentic framework. The edge runs a single offline captioning pass that builds a dual-track narrative index, an event-level story skeleton plus a clip-level micro-log, cached and reused across queries without re-captioning. At query time, a cloud-side MLLM reasons over the index in a story-first loop centered on a lightweight Visual-Need Router: a per-query gating module that triggers bounded keyframe retrieval only for perceptual questions (appearance, on-screen text, attribute disambiguation) and keeps temporal-structural questions in language space. The router turns visual access into a first-class, query-conditioned cost, capping per-query frame consumption regardless of video length. Experiments on long-video benchmarks demonstrate strong accuracy-efficiency trade-offs while substantially reducing online visual processing.
- Abstract（参考訳）: エッジデバイスに対する長いビデオ理解は、厳格な計算と帯域幅の予算の下で何時間ものコンテンツを引き起こす必要がある。
視覚トークンのサブサンプリングは時間的構造を失い、テキストのみのビデオメモリは微粒な視覚特性を失う。
言語記憶は、高密度フレームよりも長い時間構造を持ち、画素は属性レベルの知覚に決定的である。
この知見に基づいて、予算対応のエッジクラウドエージェントフレームワークであるCaption-once, Frames-onDemand (CFD)を提案する。
エッジは単一のオフラインキャプションパスを実行し、デュアルトラックのナラティブインデックス、イベントレベルのストーリスケルトン、クリップレベルのマイクロログ、キャッシュと再利用を行う。
クエリ時に、軽量なVisual-Need Routerを中心にしたストーリーファーストループのインデックスに対するクラウドサイドMLLMの理由: 知覚的質問(外観、画面上のテキスト、属性の曖昧さ)のみに限定してバウンドキーフレーム検索をトリガーするクエリごとのゲーティングモジュールで、言語空間における時間的構造的な質問を保持する。
ルーターは、ビジュアルアクセスを、ビデオの長さに関わらず、クエリー条件の第一級のコストに変え、クエリーあたりのフレーム消費を抑える。
長時間ビデオベンチマークの実験は、オンラインビジュアル処理を大幅に削減しながら、高い精度と効率のトレードオフを示す。
関連論文リスト
- Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs [2.1665689529884697]
ビデオ理解はビデオ大言語モデル(VideoLLMs)へと急速に進化した
キャプション、質問応答、検索、時間的グラウンドにおける彼らの強いパフォーマンスは、フレーム数とコンテキストの長さで増大する計算とメモリコストである。
この調査では、パラメータ数、入力毎のFLOP、レイテンシ、メモリ、およびビジュアルおよびオーディオトークン数の具体的な削減を報告した、視覚的およびオーディオ的ビデオLLMの推論効率メカニズムについて取り上げる。
論文 参考訳（メタデータ） (2026-09-09T15:50:39Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding [24.403140075177518]
長時間ビデオ理解のためのトレーニング不要な入力構築フレームワークQ-Foldを提案する。
孤立フレームを基本モデリング単位として扱う代わりに、Q-Foldは連続時間セグメントで動作する。
実験によると、Q-Foldは入力予算を増やさずに、継続的に性能を改善する。
論文 参考訳（メタデータ） (2026-06-10T14:19:15Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。
MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。
本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
論文 参考訳（メタデータ） (2026-05-26T04:16:56Z) - VideoStir: Understanding Long Videos via Spatio-Temporally Structured and Intent-Aware RAG [33.938909878793815]
VideoStirは構造化されマルチモーダルなインテント対応長ビデオRAGフレームワークである。
ビデオは、クリップレベルでテンポラルグラフとして構成され、エビデンスを集約するマルチホップ検索を実行する。
また、MLLMが支援するインテント関連スコアラを導入し、クエリの推論インテントとのアライメントに基づいてフレームを取得する。
論文 参考訳（メタデータ） (2026-04-07T04:26:59Z) - ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting [17.594941754364484]
Video Large Language Models (VideoLLMs) は多様なマルチモーダルビデオタスクで高いパフォーマンスを実現している。
高精細ビデオフレーム処理の計算コストを低減するため,フレーム選択などの効率指向手法が広く採用されている。
本稿では、VPとKFM(Keyword-Frame Mapping)モジュールを組み合わせたトレーニングフリーフレームワークであるViKeyを紹介する。
論文 参考訳（メタデータ） (2026-03-24T13:32:52Z) - Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models [61.11154533305096]
ビデオ大言語モデル(VLLM)は、強力なビデオ理解を示すが、冗長な視覚トークンによる非効率性に悩まされる。
フレーム内およびフレーム間コンテキスト内でトークン textbfAnchors を詳述する新しい視点を提案する。
提案するAOTは,先行するビデオLLMのショート・ビデオベンチマークとロング・ビデオベンチマークの競合性能を比較検討する。
論文 参考訳（メタデータ） (2026-03-02T03:06:40Z) - TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。
これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
論文 参考訳（メタデータ） (2025-12-29T14:10:22Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - Caption Anything in Video: Fine-grained Object-centric Captioning via Spatiotemporal Multimodal Prompting [60.58915701973593]
CAT-V(Caption AnyThing in Video)は、オブジェクト中心のビデオキャプションを微粒化するためのトレーニング不要のフレームワークである。
Cat-Vは3つの重要なコンポーネントを統合している: SAMIに基づくフレーム間の正確なオブジェクトセグメンテーションのためのセグメンタ、TRACE-UniVLを動力とするテンポラルアナライザ、Intern-2.5を使用するキャピタ。
我々のフレームワークは、追加のトレーニングデータを必要とすることなく、オブジェクトの属性、アクション、ステータス、インタラクション、環境コンテキストの詳細な時間的記述を生成します。
論文 参考訳（メタデータ） (2025-04-07T22:35:36Z) - LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。
DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。
時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
論文 参考訳（メタデータ） (2024-10-22T21:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。