論文の概要: Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2610.16118v1
• Date: Mon, 12 Oct 2026 03:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:39:11.890622
• Title: Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
• Title（参考訳）: Elephant in the Fridge: 長いビデオ理解のための定メモリフレームパッキング
• Abstract要約: FramePack-Uは、一定メモリコストで、任意の長さのビデオを固定サイズのビジュアル表現に圧縮する。 FramePackに触発されて、固定トークン予算の下で視覚的理解のためのコンテンツ認識型圧縮戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.560331815871441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hour-long videos, streaming feeds, and movie-length content are pushing vision-language models (VLMs) past their breaking point -- the standard recipe of encoding each frame into visual tokens yields sequences that grow linearly with video length, causing prohibitive memory consumption and inference latency. Existing approaches, such as token reduction and keyframe selection, shorten the token sequence but leave the O(n) scaling intact, failing to resolve the fundamental bottleneck. We propose FramePack-U, a strikingly simple, training-free frame packing framework that compresses arbitrarily long videos into a fixed size visual representation at constant memory cost. FramePack-U requires no fine-tuning or architectural modification -- it plugs directly into off-the-shelf VLMs at inference time. Inspired by FramePack from the generation literature, we propose a content-aware compression strategy for visual understanding under a fixed token budget. Specifically, FramePack-U (1) scores each frame by its semantic similarity to the text prompt and ranks frames in a diversity-driven manner, and (2) packs the selected frames at varying resolutions into a fixed-length context window. This concentrates the memory budget on frames that are both instruction-relevant and visually diverse. While FramePack-U can in theory pack arbitrarily many frames into the fixed budget, we identify an empirical instantiation that generalizes robustly across settings. Extensive experiments on LongVideoBench, MLVU, and Video-MME show that FramePack-U consistently outperforms full-resolution baselines and prior token reduction and keyframe selection methods across diverse model families, parameter scales, and frame budgets. Notably, on Qwen3.5-35B-A3B with a 128-frame budget, FramePack-U yields gains of +12.9\%, +10.6\%, and +9.7\% over the official model on the three benchmarks, respectively.
• Abstract（参考訳）: 時間長のビデオ、ストリーミングフィード、および映画の長さのコンテンツは、視覚言語モデル(VLM)をそのブレークポイントを超えて押し上げている。各フレームを視覚トークンにエンコードする標準的なレシピは、ビデオ長と線形に成長するシーケンスを生成し、メモリ使用の禁止と推論遅延を引き起こす。 トークンの削減やキーフレームの選択といった既存のアプローチは、トークンシーケンスを短くするが、O(n)のスケーリングをそのままにして、基本的なボトルネックを解決できない。 FramePack-Uは、任意の長さの動画を一定サイズの視覚的表現に一定メモリコストで圧縮する、驚くほどシンプルで、トレーニング不要なフレームパッキングフレームワークである。 FramePack-Uは微調整やアーキテクチャの変更を必要としない。 FramePackに触発されて、固定トークン予算の下で視覚的理解のためのコンテンツ認識型圧縮戦略を提案する。 具体的には、FramePack-U(1)は、テキストプロンプトとセグメンテーションフレームとのセマンティックな類似性で各フレームを多様性駆動でスコアし、(2)選択したフレームを様々な解像度で固定長コンテキストウィンドウにパックする。 これにより、命令関連フレームと視覚的多様性の両方にメモリ予算が集中する。 FramePack-Uは、理論的には、任意に多くのフレームを固定予算に詰め込むことができるが、我々は、設定間で堅牢に一般化する経験的インスタンス化を特定する。 LongVideoBench, MLVU, Video-MMEの大規模な実験により、FramePack-Uは、さまざまなモデルファミリ、パラメータスケール、フレーム予算において、フル解像度のベースラインと事前トークンの削減とキーフレーム選択メソッドを一貫して上回っていることが示された。 特に、128フレームの予算を持つQwen3.5-35B-A3Bでは、FramePack-Uの利得は+12.9\%、+10.6\%、+9.7\%である。

関連論文リスト

• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models [63.99949971803903]
  ビデオ生成のための次フレーム(または次フレーム)予測モデルをトレーニングするためのニューラルネットワーク構造であるFramePackを提案する。 FramePackは入力フレームコンテキストをフレーム単位の重要度で圧縮し、より多くのフレームを固定されたコンテキスト長内にエンコードする。 既存のビデオ拡散モデルをFramePackで微調整できることを示し、異なるパッキングスケジュールの違いを分析する。
  論文  参考訳（メタデータ） (2025-04-17T04:02:31Z)
• Frame-Voyager: Learning to Query Frames for Video Large Language Models [33.84793162102087]
  ビデオ大言語モデル (Video-LLMs) はビデオ理解タスクにおいて顕著な進歩を遂げている。 フレームの一様サンプリングやテキストフレーム検索のような既存のフレーム選択アプローチでは、ビデオ内の情報密度の変動を考慮できない。 タスクの与えられたテキストクエリに基づいて,情報フレームの組み合わせを問合せする Frame-Voyager を提案する。
  論文  参考訳（メタデータ） (2024-10-04T08:26:06Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。