論文の概要: PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding

• arxiv url: http://arxiv.org/abs/2609.23601v1
• Date: Sun, 20 Sep 2026 12:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.868538
• Title: PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding
• Title（参考訳）: PreM: 長時間ビデオ理解のためのプリフィックスステアリング・リカレントメモリ
• Abstract要約: 凍結視覚言語モデル(VLM)のためのメモリトケンフリーフレームワークであるPREM(Prefix-Steered Recurrent Memory)を紹介する。 PreMは、ビデオの取り込みとクエリを分離する: リカレントライターは、ビジュアルストリームを256GPUのマルチスロット連想状態に蒸留する。 評価された視覚予算ごとに、凍ったベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 37.57352004047971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-video understanding must capture transient visual evidence under strict token budgets, yet existing methods compress frames, append memory tokens, or alter internal key-value (KV) caches. We introduce Prefix-Steered Recurrent Memory (PREM), a memory-token-free framework for frozen vision-language models (VLMs). PREM separates video ingestion from query answering: a recurrent writer distills visual streams into a compact 256 KiB multi-slot associative state, while a question-conditioned readout adds memory-derived key/value (K/V) steering modulations to existing non-visual prompt prefixes during prefill. This enables write-once, query-many inference without extra prompt tokens or decoding recurrence. Across six long-video benchmarks in offline and streaming end-of-stream settings, PREM consistently outperforms frozen baselines at every evaluated visual budget. Under a constrained budget of 16 frames, PREM improves macro-average accuracy by 3.06% on Qwen2.5-VL-3B, with gains of 11.0% on action antonym identification and 9.9% on localized needle retrieval. These gains require tuning 0.24% of backbone parameters at 0.03 GiB of peak GPU memory overhead.
• Abstract（参考訳）: 長いビデオの理解は、厳格なトークン予算の下で過渡的な視覚的証拠をキャプチャする必要があるが、既存の方法ではフレームを圧縮したり、メモリトークンを付加したり、内部キー値(KV)キャッシュを変更する必要がある。 本稿では,凍結視覚言語モデル(VLM)のためのメモリトケンフリーフレームワークであるPrefix-Steered Recurrent Memory (PREM)を紹介する。 繰り返し書き手は、ビジュアルストリームを256KiBのマルチスロット連想状態に蒸留し、質問条件付き読み出しは、プリフィル中に既存の非視覚的プロンプトプレフィックスにメモリ由来のキー/値(K/V)の調整を追加する。 これにより、追加のプロンプトトークンや復号化を必要とせずに、書き込みオンスでクエリ管理の推論が可能になる。 オフラインとストリーミングのエンド・オブ・ストリーム設定の6つの長時間ビデオベンチマークで、PremMは評価されたビジュアル予算ごとに、凍結されたベースラインを一貫して上回っている。 16フレームの制約付き予算の下で、PreMはQwen2.5-VL-3Bで平均値の精度を3.06%改善し、アクションアントロニム同定では11.0%、局所化針検索では9.9%向上した。 これらのゲインは、最大GPUメモリオーバーヘッドの0.03 GiBでバックボーンパラメータの0.24%をチューニングする必要がある。

関連論文リスト

• RegVGGT: Sustainable Visual Geometry Grounding for Streaming via Regulated Memory [69.4680941912247]
  フィードフォワード再構成モデル(FFRM)のジレンマを考慮した長大なビデオストリーム入力からの3次元再構成 近年の研究では、推論コンテキストの整合性とGPUメモリ使用量のトレードオフによってこの問題を解決しようとしている。 本稿では,入力フレームのトークンを積極的に規制する,トレーニング不要なトークン規制手法であるRegVGGTを提案する。
  論文  参考訳（メタデータ） (2026-09-20T01:42:37Z)
• TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching [17.21633617033978]
  TierKVは、予測的マルチティアキャッシュ最適化に基づいて構築されたモバイルLLM推論フレームワークである。 既存のモバイルLLMフレームワークよりも最大17.6倍のスループット向上を実現している。 これによりRAM常駐のKVキャッシュが12.5-34%削減され、同じメモリ予算でコンテキストが大幅に長くなる。
  論文  参考訳（メタデータ） (2026-09-18T00:36:05Z)
• CONDUIT: A Unified Residual-Stream Restoration Framework for KV Cache Reuse in Vision-Language Models [32.623898255947374]
  トレーニング不要のリフレッシュポリシーであるCONDUITを提案する。 10%のリフレッシュ予算で、CONDUIT 97.0-99.5%は、3つのVLMバックボーンで対応するフルプリフィルの5セット平均を達成し、平均で予算案を導いた。
  論文  参考訳（メタデータ） (2026-09-05T02:34:16Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
  textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。 emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。 emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
  論文  参考訳（メタデータ） (2026-04-20T16:15:33Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
  Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
  論文  参考訳（メタデータ） (2025-10-13T08:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。