論文の概要: RESUME: Recurrent State Updates from Motion and Residual Signals for Efficient Video Language Modeling

• arxiv url: http://arxiv.org/abs/2609.39563v1
• Date: Wed, 30 Sep 2026 12:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.635943
• Title: RESUME: Recurrent State Updates from Motion and Residual Signals for Efficient Video Language Modeling
• Title（参考訳）: RESUME: 効率的なビデオ言語モデリングのための動作と残差信号からのリカレント状態更新
• Abstract要約: コーデック対応のフロントエンドは、生成した動きベクトルと残差を読み取るが、その配置形式では、各予測フレームは、それ自体でトークン化されている。 我々は、より自然な関数は、現在のプリミティブと持ち込まれた参照の両方であると主張する。 我々は、ステートフルな表現であるRESUMEを紹介します: 初期化状態のアンカーフレーム、その後のフレームは、その状態の更新として消費され、共有読み出しは、蓄積された状態から VideoLM互換のトークンを公開します。
• 参考スコア（独自算出の注目度）: 30.582448005780435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing video language models encode sampled RGB frames independently, so a long video must either exhaust the token budget or drop the changes between sampled frames. Codec-aware front-ends read the motion vectors and residuals that encoding produced, but in their deployed form each predictive frame is still tokenized on its own: the tokens are a function of the current primitives, not of a carried reference. We argue that a more natural function is of both---the current primitives and a carried reference. A clip and its time reversal share the same frames and differ only in the order of changes---an axis that symmetric pooling discards by construction, and that is non-empty in the frozen vision features VideoLMs use---and the codec recurrence already composes those changes in order against a reference state. We introduce RESUME, a stateful codec representation: an anchor I-frame initializes a compact latent state, each subsequent predictive frame is consumed as an update to that state, and a shared readout exposes VideoLM-compatible tokens from the accumulated state. Codec prediction is thereby kept at the representation level and handed to the language model as a trajectory, not as a set of independent token groups. At the same per-predictive-frame token budget as prior codec-aware methods, a predictive frame enters the language model as a readout of what the front-end already knows, not as an encoding of the current primitives alone. Across ten benchmarks, the gains concentrate on temporal reasoning: on all three temporal benchmarks RESUME improves over both the RGB-frame baseline LLaVA-Video-7B (by 2.8, 5.1, and 3.9 points on TempCompass, TOMATO, and MVBench) and the codec-based baseline CoPE-7B, while staying competitive on general and long-form QA. Frozen-transition tests further show anchor dependence, order sensitivity, and useful rollout behavior beyond the training horizon.
• Abstract（参考訳）: 既存のビデオ言語モデルは、サンプルのRGBフレームを独立して符号化しているため、長いビデオはトークンの予算を浪費するか、サンプルのフレーム間の変更を落とす必要がある。 コーデックを意識したフロントエンドは、生成された動きベクトルと残基を読み取るが、その配置された形式では、それぞれの予測フレームは、それ自体でトークン化される:トークンは、搬送された参照ではなく、現在のプリミティブの関数である。 我々は、より自然な関数は、現在のプリミティブと搬送された参照の両方であり、クリップとその時間反転は、同じフレームを共有し、変更の順序でのみ異なる、-------- 対称プールが構築によって破棄される軸と、凍結された視覚機能では空でない--- ビデオLMの使用--- とコーデックの繰り返しは、参照状態に対してこれらの変更を既に構成している。 我々は、ステートフルなコーデック表現であるRESUMEを紹介し、アンカーIフレームがコンパクトな潜伏状態を初期化し、その後の予測フレームをその状態の更新として消費し、共有読み出しは、蓄積された状態から VideoLM互換トークンを公開する。 これにより、コーデック予測は表現レベルで保持され、独立したトークングループの集合としてではなく、軌跡として言語モデルに渡される。 予測フレーム当たりのトークン予算は、従来のコーデック対応のメソッドと同じで、予測フレームは、現在のプリミティブのエンコーディングとしてではなく、フロントエンドがすでに知っていることの読み出しとして言語モデルに入る。 RESUMEはRGBフレームベースラインのLLaVA-Video-7B(TempCompass、Tomato、MVBenchの2.8、5.1、および3.9ポイント)とコーデックベースベースラインのCoPE-7Bの両方を改良し、一般および長期QAで競争力を維持する。 凍結遷移試験は、さらにアンカー依存、オーダー感度、トレーニング地平線を超えたロールアウト挙動を示す。

関連論文リスト

• TAME: Temporal-Aware Mixture-of-Experts for Text-Video Retrieval [1.4874449172133888]
  Text-Video Retrieval (TVR)は、自然言語クエリにマッチしたビデオを取得する。 TVRは時間モデリングの欠如によって制限されている。 テキストビデオ検索(TAME)のためのテンポラル・アウェア・ミックス・オブ・エクササイズを提案する。
  論文  参考訳（メタデータ） (2026-09-02T07:12:50Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• FRAME: Pre-Training Video Feature Representations via Anticipation and Memory [55.046881477209695]
  FRAMEは、高密度ビデオ理解に適した自己監督型ビデオフレームエンコーダである。 同社は、過去と現在のRGBフレームから現在と将来のDINOパッチ機能を予測することを学ぶ。 画像エンコーダや既存の自己監督型ビデオモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-05T19:44:47Z)
• VFRTok: Variable Frame Rates Video Tokenizer with Duration-Proportional Information Assumption [19.819820303839613]
  既存のトークン化器は固定時間圧縮率を提供し、拡散モデルの計算コストはフレームレートと線形にスケールする。 本稿では、可変フレームレート符号化と復号を可能にするトランスフォーマーベースのビデオトークンであるVFRTokを紹介する。 VFRTokは既存のトークンよりも1/8トークンしか使用せず、競争力のある再構築品質と最先端のビデオ忠実性を実現している。
  論文  参考訳（メタデータ） (2025-05-17T15:32:54Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。