論文の概要: WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs

• arxiv url: http://arxiv.org/abs/2610.17355v1
• Date: Mon, 12 Oct 2026 20:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:16:53.904779
• Title: WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs
• Title（参考訳）: WIRE:冷凍ビデオLLMの軽量空間インシシデント表現符号化
• Abstract要約: ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。 凍結したビデオ言語モデルの映像の一部を移動させることにより、この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation)を提案する。 Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5Times$で、デコーダのプリフィル時間を256フレームで$3.35times$、1024フレームで$4.14times$で削減し、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。
• 参考スコア（独自算出の注目度）: 50.26647187459162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video language models represent a video as a long sequence of visual embeddings in a decoder's input. Every visual embedding is processed by every decoder layer during prefill, stored in the key value cache, and attended by every generated token, so a long video raises prefill, memory, and generation cost at once. We present WIRE (Weight Space Implicit Representation Encoding), which reduces this recurring cost by moving part of the video conditioned computation of a frozen video language model from its input activations into a temporary low rank update of its weights. WIRE keeps a short explicit visual context, so the update acts as a correction rather than a replacement of the video. WIRE first compresses the full resolution embeddings of each frame into a small set of carrier tokens using a question conditioned bidirectional selective scan, and physically contracts the decoder input so every decoder layer, cache entry, and decoding step operates on the shorter sequence. Hypernetworks at selected decoder layers read the compressed forward pass together with a readout of the full resolution features removed by contraction and generate LoRA updates to the attention and feedforward projections. The updates are merged after prefill, so autoregressive decoding runs the unmodified frozen backbone. On Qwen3-VL-8B, WIRE with 16 carrier tokens per frame contracts the visual stream by $3.5\times$, reduces decoder prefill time by $3.35\times$ at 256 frames and $4.14\times$ at 1024 frames, shrinks the key value cache proportionally, and keeps per token decoding latency approximately constant. Across nine benchmark settings at 256 frames, it obtains the highest average accuracy among efficient video language models we evaluate under a common 256 frame budget.
• Abstract（参考訳）: ビデオ言語モデルは、デコーダの入力に視覚的な埋め込みの長いシーケンスとしてビデオを表す。 すべての視覚的埋め込みは、プリフィルの間、すべてのデコーダ層によって処理され、キーバリューキャッシュに格納され、生成されたトークンに付随するので、長いビデオはプリフィル、メモリ、生成コストを一度に上げる。 本稿では,凍結したビデオ言語モデルの映像条件付き計算の一部を入力アクティベーションから加重の一時的低ランク更新に移行することで,この繰り返しコストを低減できるWIRE(Weight Space Implicit Representation Encoding)を提案する。 WIREは視覚的コンテキストを短く保ち、更新はビデオの置き換えではなく修正として機能する。 WIREはまず、質問条件付き双方向選択スキャンを用いて、各フレームの全解像度埋め込みを小さなキャリアトークンに圧縮し、デコーダ入力を物理的に収縮させ、デコーダ層、キャッシュエントリ、デコードステップが短いシーケンスで動作するようにする。 選択されたデコーダ層のHypernetworksは圧縮された前方パスを読み出し、収縮によって取り除かれた全解像度機能の読み出しと合わせて、注意とフィードフォワードのプロジェクションに対するLoRA更新を生成する。 更新はプリフィル後にマージされるので、自動回帰復号化は未修正の冷凍バックボーンを実行する。 Qwen3-VL-8Bでは、1フレームあたり16のキャリアトークンを持つWIREは、ビジュアルストリームを3.5\times$で、デコーダのプリフィル時間を256フレームで$3.35\times$、1024フレームで$4.14\times$で減らし、キーバリューキャッシュを比例的に縮小し、トークンの復号遅延をほぼ一定に保つ。 256フレームでの9つのベンチマーク設定で、256フレームの予算で評価した効率的なビデオ言語モデルの中で、最も高い平均精度が得られる。

関連論文リスト

• LightVAE: Towards Compact and Efficient Video Autoencoders [24.068322697550983]
  時間的モデリングとネットワーク深さの冗長性を利用した圧縮フレームワークLightVAEを提案する。 3つのビデオVAEバックボーンと2つのGPUプラットフォームにまたがって、LightVAEはデコーディングを継続的に加速する。
  論文  参考訳（メタデータ） (2026-10-10T08:46:22Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
  LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。 LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。 計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
  論文  参考訳（メタデータ） (2026-05-17T05:02:52Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation [5.553946791700077]
  平面走査を垂直・多解像度コンテキストアクセスに置き換える階層的自己回帰モデルを提案する。 実験の結果,PHOTONはスループット品質のトレードオフに関して,競合するTransformerベースの言語モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-12-22T19:26:59Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。