論文の概要: Video Encoders Built on Image Representations

• arxiv url: http://arxiv.org/abs/2610.06616v1
• Date: Mon, 05 Oct 2026 16:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:12:57.842551
• Title: Video Encoders Built on Image Representations
• Title（参考訳）: 画像表現に基づくビデオエンコーダ
• Abstract要約: 画像表現上にコンパクトなビデオエンコーダを構築することができることを示す。 13のベンチマークと3つのビジョン言語バックボーンで、結果として得られるパスは、フルイメージのアグリゲーションパフォーマンスと一致している。 13ベンチマークのマクロ平均は62.75で1,535のビジュアルトークンを持つのに対し、フルイメージパスでは4,424トークンで62.58、ネイティブなConv3Dでは2,212トークンで59.49である。
• 参考スコア（独自算出の注目度）: 38.39294458665274
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The design of a video encoder determines when frames begin to interact and which frame-specific visual evidence remains accessible to the language model. Native video pathways couple neighboring frames during visual encoding, whereas image pathways preserve independently computed frame representations but incur a much larger visual-token cost when all image tokens are forwarded. We ask a basic question: whether a compact video encoder can instead be built on image representations. To answer this question, we separate three operations that are often coupled: per-frame representation, cross-frame token allocation, and temporal interaction. A frozen image encoder first produces frame-specific candidates. A question-aware selector then allocates a fixed token budget across frames using relevance, diversity, and cross-frame correspondence, after which a lightweight learned refiner reads neighboring-frame context and writes residual updates only to the retained anchors. This preserves source positions and keeps the visual output at the fixed budget. Across 13 benchmarks and three vision-language backbones, the resulting pathway matches full-image aggregate performance while using only about 28%-35% of its visual tokens. Specifically, on Qwen3-VL-8B, it achieves a 13-benchmark macro-average of 62.75 with 1,535 visual tokens, compared with 62.58 for the full Image pathway at 4,424 tokens and 59.49 for native Conv3D at 2,212 tokens. On Qwen3-VL-32B, it reaches a 13-benchmark macro-average of 66.28, compared with 66.09 for Image, while providing a 2.16x end-to-end speedup. These results show that compact video encoding does not require early temporal mixing: frame-specific evidence can be preserved first, allocated jointly, and temporally contextualized after selection.
• Abstract（参考訳）: ビデオエンコーダの設計は、いつフレームが相互作用し始めるか、どのフレーム固有の視覚的証拠が言語モデルにアクセス可能であるかを決定する。 ネイティブビデオ経路は、視覚符号化中に隣接するフレームを結合するが、画像経路は、独立に計算されたフレーム表現を保持するが、すべての画像トークンが転送されると、はるかに大きな視覚的コストが発生する。 画像表現にコンパクトなビデオエンコーダを組み込むことができるのか? この質問に答えるために、頻繁に結合される3つの操作を分離する。 凍結画像エンコーダは、まずフレーム固有の候補を生成する。 質問認識セレクタは、関連性、多様性、およびクロスフレーム対応を利用してフレーム間で固定トークン予算を割り当て、その後、軽量の学習精錬機が隣接するフレームコンテキストを読み出し、保持されたアンカーにのみ残余の更新を書き込む。 これはソース位置を保存し、ビジュアル出力を固定された予算で保持する。 13のベンチマークと3つの視覚言語バックボーンで、結果として得られるパスは、そのビジュアルトークンの28%-35%しか使用せずに、フルイメージのアグリゲーションパフォーマンスと一致している。 具体的には、Qwen3-VL-8Bでは、62.75の13ベンチマークのマクロ平均と1,535のビジュアルトークンを達成しており、フルイメージパスでは4,424トークンで62.58、ネイティブなConv3Dでは2,212トークンで59.49である。 Qwen3-VL-32Bでは、画像の66.09に比べて平均13ベンチマークのマクロ平均値66.28に達し、2.16倍のエンドツーエンドのスピードアップを提供する。 これらの結果から, フレーム固有の証拠をまず保存し, 共同配置し, 選択後, 時間的にコンテキスト化することができる。

関連論文リスト

• RESUME: Recurrent State Updates from Motion and Residual Signals for Efficient Video Language Modeling [30.582448005780435]
  コーデック対応のフロントエンドは、生成した動きベクトルと残差を読み取るが、その配置形式では、各予測フレームは、それ自体でトークン化されている。 我々は、より自然な関数は、現在のプリミティブと持ち込まれた参照の両方であると主張する。 我々は、ステートフルな表現であるRESUMEを紹介します: 初期化状態のアンカーフレーム、その後のフレームは、その状態の更新として消費され、共有読み出しは、蓄積された状態から VideoLM互換のトークンを公開します。
  論文  参考訳（メタデータ） (2026-09-30T12:00:41Z)
• QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
  本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。 QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。 我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-07-01T14:19:24Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• xGen-MM-Vid (BLIP-3-Video): You Only Need 32 Tokens to Represent a Video Even in VLMs [109.32471628475263]
  ビデオ用マルチモーダル言語モデルであるxGen-MM-Vid(B-3-Video)を提案する。 BLIP-3-Videoは、従来のビジュアルトークン化器に加えて「時間エンコーダ」を利用する。 BLIP-3-Videoは、より大規模な最先端モデルに匹敵するビデオ質問応答精度が得られることを実験的に確認する。
  論文  参考訳（メタデータ） (2024-10-21T17:59:11Z)
• LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video Translation [21.815083817914843]
  我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。 我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。 textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-11-01T08:02:57Z)
• Frame-To-Frame Consistent Semantic Segmentation [2.538209532048867]
  我々は、ビデオ内の連続したフレームを通して特徴を伝播する畳み込みニューラルネットワーク(CNN)を訓練する。 その結果,時間情報を追加することで,フレーム間の一貫性とより正確な画像理解が得られることがわかった。
  論文  参考訳（メタデータ） (2020-08-03T15:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。