論文の概要: Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency

• arxiv url: http://arxiv.org/abs/2610.04318v1
• Date: Sat, 03 Oct 2026 06:13:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:32:57.432779
• Title: Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency
• Title（参考訳）: 長時間映像の効率を再考する:フレーム, 画素, フロントエンドのレイテンシに関する共同配置視点
• Abstract要約: LoHiは高解像度の低解像度ビデオストリームと低解像度の高解像度画像フレームを組み合わせたフレームワークである。 一致したトークン予算で、ネイティブレゾリューションベースラインよりも平均精度を10.6ポイント向上させる。 また、1時間のビデオでは、フロントエンドのデコード遅延を最大7倍に削減する。
• 参考スコア（独自算出の注目度）: 18.627004057717613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient long-video understanding with vision-language models (VLMs) is often framed as selecting informative frames or visual tokens at a fixed native resolution. We show that per-frame resolution can instead be traded for denser temporal coverage, while front-end decoding latency depends on the size of the candidate pool rather than the final token budget. An empirical study across multiple VLMs and long-video benchmarks yields three findings: dense low-resolution sampling outperforms sparse native-resolution sampling at matched token budgets; resolution-sensitive tasks benefit from selected high-resolution frames; and front-end decoding dominates wall time for hour-long videos. Motivated by these findings, we introduce LoHi, a training-free, single-pass framework that combines a dense low-resolution video stream with sparse high-resolution image frames through the VLM's native video and image pathways. LoHi-Anchor selects high-resolution frames using codec I-frame metadata, while LoHi-SemDiv uses query relevance and visual diversity over CLIP features. Across three long-video benchmarks, LoHi improves average accuracy by 10.6 percentage points over the native-resolution baseline at a matched token budget and by 5.2 percentage points over the strongest prior efficiency method. It also reduces front-end decoding latency by up to 7x on hour-long videos. Project page: https://sixundong.com/projects/lohi
• Abstract（参考訳）: 視覚言語モデル(VLM)による効率的なロングビデオ理解は、しばしば固定されたネイティブ解像度で情報フレームや視覚トークンを選択するものとしてフレーム化される。 フレーム単位の解像度は、最終トークン予算ではなく、候補プールのサイズに依存しているのに対して、より密集した時間的カバレッジのために交換可能であることを示す。 複数のVLMとロングビデオのベンチマークによる実証的研究では、3つの結果が得られた: 密度の低い低解像度サンプリングは、一致したトークン予算で少ないネイティブ解像度サンプリング、選択された高解像度フレームによる解像度感受性タスク、フロントエンドデコーディングは1時間ビデオのウォールタイムを支配している。 これらの知見に触発されたLoHiは、高解像度の高解像度映像ストリームと、VLMのネイティブビデオと画像経路を介する希少な高解像度画像フレームを組み合わせた、トレーニング不要でシングルパスのフレームワークである。 LoHi-AnchorはコーデックIフレームメタデータを使用して高解像度フレームを選択するが、LoHi-SemDivはクエリ関連性とCLIP機能に対する視覚的多様性を使用する。 3つの長ビデオベンチマークで、LoHiは一致したトークン予算でネイティブ解像度ベースラインに対して平均精度を10.6ポイント改善し、最強の事前効率法では5.2ポイント向上した。 また、1時間のビデオでは、フロントエンドのデコード遅延を最大7倍に削減する。 プロジェクトページ:https://sixundong.com/projects/lohi

関連論文リスト

• Linear Scaling Video VLMs for Long Video Understanding [26.67642601439313]
  ビデオエンコーダは依然として自己アテンションに依存しており、計算とレイテンシはフレーム数で2倍に増加する。 本稿では,事前学習した長ビデオMを線形時間ビデオプリフィルに適応させる推論時手法であるStateKVを紹介する。
  論文  参考訳（メタデータ） (2026-05-29T17:59:02Z)
• LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
  LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。 LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。 計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
  論文  参考訳（メタデータ） (2026-05-17T05:02:52Z)
• From Frames to Clips: Efficient Key Clip Selection for Long-Form Video Understanding [43.82717677801915]
  ビデオ大言語モデル(VLM)は様々な視覚言語タスクにおいて顕著な成果を上げている。 生のビデオフレームから生成される膨大な数の視覚トークンが、モデルのコンテキストウィンドウを消費する。 分離されたキーフレームからキークリップへの選択を、短い時間的コヒーレントなセグメントに拡張することで、ビデオの理解が向上することを示す。
  論文  参考訳（メタデータ） (2025-10-02T17:43:01Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
  VideoLLaMBは、長いビデオ理解のためのフレームワークである。 SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。 VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
  論文  参考訳（メタデータ） (2024-09-02T08:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。