論文の概要: Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
- arxiv url: http://arxiv.org/abs/2609.03820v1
- Date: Thu, 03 Sep 2026 13:20:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.086085
- Title: Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
- Title（参考訳）: Select, Compress, Reinvest:Long-Video MLLMにおける視覚的位置決めの制御に関する研究
- Abstract要約: 長ビデオ言語モデルと公開セレクタを比較した。
我々は、選択、空間圧縮、貯蓄の再投資を利用する。
これらの比較は、紙をまたいでではなく、1つの制御されたハーネス内で行う必要がある理由を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-video language models cannot look at every frame: an hour sampled once per second is 3,600 images, and a system keeps only a small fixed slice of that pool. Which frames survive that slice is usually treated as a preprocessing detail; we test whether it should be. Published selectors make the comparison hard because they change the frame scorer, the prompt boundary, the resolution policy, and the answering model all at once. We hold each fixed and vary one decision at a time: selection, spatial compression, and reinvestment of the savings, across six training-free selection rules, three long-video benchmarks, and two answering models. Selection is the largest single lever: on LongVideoBench's hour-long bin, eight query-selected frames beat sixteen uniformly spaced ones by 6.9 points, and Orthogonal Matching Pursuit, an unmodified decades-old sparse-approximation algorithm, matches or comes within a point of every purpose-built selector we compare it against, across all three benchmarks. Compression is close to free: halving each frame's spatial budget at fixed timestamps costs at most 0.44 points. Reinvestment is where that budget turns back into accuracy: spending the freed tokens on twice as many compressed frames, at a measured cost no higher than the original eight, returns a further two to three points; compression only pays off once its savings are spent this way. Along the way, an implementation bug in our own AKS baseline and a 0.07 to 3.74 point gap between two harnesses running the same published rules at the same budget show why these comparisons need to happen inside one controlled harness rather than across papers.
- Abstract（参考訳）: ロングビデオの言語モデルは、すべてのフレームを見ることができない:毎秒1時間サンプリングされる画像は3600枚で、システムはそのプールの小さな固定スライスだけを保持する。
どのフレームが生き残るかは通常、前処理の詳細として扱われます。
公開セレクタは、フレームスコアラ、プロンプト境界、解像度ポリシー、および応答モデルを一度に変更するため、比較を困難にします。
選択、空間圧縮、貯蓄の再投資、トレーニングなし選択ルール6つ、長ビデオベンチマーク3つ、回答モデル2つ。
選択は最大のシングルレバーである: LongVideoBenchの時間長ビンでは、8つのクエリ選択されたフレームが16の均一な空間を持つフレームを6.9ポイント上回り、Orthogonal Matching Pursuitは修正されていない数十年前のスパース近似アルゴリズムで、私たちが比較した3つのベンチマークで比較したすべての目的のセレクタのポイント内に入る。
各フレームの空間予算を固定タイムスタンプで半分にすると、少なくとも0.44ポイントのコストがかかる。
解放されたトークンを圧縮されたフレームの2倍のコストで、原単位の8倍のコストで消費し、さらに2～3ポイントのポイントを返す。
途中で、我々のAKSベースラインにおける実装バグと、同じ予算で同じルールを実行する2つのハーネス間の0.07から3.74ポイントのギャップは、これらの比較が紙をまたいでではなく、1つのコントロールされたハーネス内で発生する必要があることを示している。
関連論文リスト
- RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding [43.953366792790625]
本稿では,再利用可能なスパースビデオインデックスを構築するトレーニングフリーフレームワークであるMatryoshka Evidence-to-Context (MEC) Frame Selectionを紹介する。
MECは、均一サンプリングよりも平均精度を3.77ポイント向上し、強い最先端セレクタにマッチし、エンドツーエンドの選択遅延を47.37-51.19%削減する。
論文 参考訳（メタデータ） (2026-08-06T07:47:15Z) - Ground, Cover, and Refine: Evidence-Centric Frame Selection for Long-Video Question Answering [9.937860041147625]
長いビデオの質問に答えるには、制限された視覚的な予算の下でビデオからスパースで重要な証拠を特定する必要がある。
既存の方法は、単一のパスでクエリ対応フレームを選択するか、検索ガイダンスとしてタイムスタンプ付きテキストに頼るかのいずれかである。
本稿では,固定予算フレーム選択を共同エビデンスキュレーション問題として用いたトレーニングフリーフレームワークであるGCRを提案する。
論文 参考訳（メタデータ） (2026-08-03T03:50:22Z) - Finding Change in Satellite Archives from Text: How to Combine Before-and-After Images Efficiently [4.354803595506825]
オペレーションアース・オブザーバーは、新しい建物が現れたイメージペアを見つけるなどの質問に答えることをますます求めています。」
これは、前と後(両時間)の衛星画像ペアのアーカイブを検索し、それぞれのペアが変更の自然言語による記述とどのようにうまく一致しているかをランク付けすることを意味します。
このマッチを実行するコンポーネント、before'とafter'のビューを組み合わせたフュージョンモジュールは、多くの候補ペア間でクエリ時に実行されなければならない。
論文 参考訳（メタデータ） (2026-07-30T17:35:06Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - Frames2LoRA: Parametric Video Internalization for Vision-Language Models [52.46510577817688]
Frames2LoRAはパラメトリックビデオ内部化の手法である。
知覚者ハイパーネットワークは、層ごとに生成された中間表現を読み出し、凍結されたVLMがビデオをエンコードする。
ローランド適応 (LoRA) アダプタを1つのフォワードパスで生成する。
論文 参考訳（メタデータ） (2026-06-03T02:07:35Z) - AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。
AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。
これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
論文 参考訳（メタデータ） (2026-06-01T17:56:35Z) - GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs [3.9266376632068485]
GridProbeは、効率的なトレーニング不要な後処理推論パラダイムである。
解答空間における証拠は、凍結したVLM自身の推論を用いて得られる。
疑似関連フレームを適応的に選択し、精度の損失が少なくて、準四分法的な注意コストをもたらす。
論文 参考訳（メタデータ） (2026-05-11T15:57:46Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
自己教師型音声モデルのための一括圧縮フレームワークを提案する。
このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。
また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
論文 参考訳（メタデータ） (2022-11-04T09:19:13Z) - Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。
本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2022-02-24T23:51:36Z) - OCSampler: Compressing Videos to One Clip with Single-step Sampling [82.0417131211353]
本稿では,OCSampler というフレームワークを提案する。
我々の基本的な動機は、効率的なビデオ認識タスクは、フレームをシーケンシャルに拾うのではなく、シーケンス全体を一度に処理することにある。
論文 参考訳（メタデータ） (2022-01-12T09:50:38Z) - Rethinking Dilated Convolution for Real-time Semantic Segmentation [0.0]
背骨全体に大きな拡張率を持つ拡張畳み込みを用いて異なるアプローチをとる。
我々のモデルであるRegSegは、リアルタイムのCityscapesとCamVidデータセットの競合的な結果を達成する。
論文 参考訳（メタデータ） (2021-11-18T22:08:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。