論文の概要: Memory Internalization via Test-Time Training for Long-Video Understanding
- arxiv url: http://arxiv.org/abs/2610.26910v1
- Date: Sat, 17 Oct 2026 04:06:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.383029
- Title: Memory Internalization via Test-Time Training for Long-Video Understanding
- Title（参考訳）: 長時間映像理解のためのテスト時間学習によるメモリ内部化
- Abstract要約: 長いビデオの理解には、証拠が時間的な文脈に分散している1つのビデオに関する多くの質問に答える必要がある。
テスト時間トレーニング(MIT3)によるメモリ内部化(Memory Internalization)は,ビデオ不要でテキストのみの質問応答に対して,ビデオ毎の長大な動画をコンパクトな適応パラメータに書き込む,ビデオ毎の適応フレームワークである。
視覚的メモリ蒸留は、テキストのみのメモリをトレーニングし、関連するビデオクリップによって誘導される表現変化を再現し、テキストの監督を超えた視覚的エビデンスの内部効果を保存する。
- 参考スコア（独自算出の注目度）: 29.586830628732432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-video understanding often requires answering many questions about a single video whose evidence is distributed across extended temporal contexts. Conventional video-language models repeatedly encode frames or retrieve visual evidence for every question. Parameterized video memory offers a write-once alternative, but existing methods rely primarily on synthesized text and fixed adaptation configurations, leaving open where video knowledge should be written and how visual evidence should shape the memory. We introduce Memory Internalization via Test-Time Training (MIT^3), a per-video adaptation framework that writes each long video into compact, video-specific adaptive parameters for video-free, text-only question answering. Under compact multi-scale supervision, causal tracing measures the causal memory utility of each model layer for video-grounded answering and selects video-specific adaptation locations. Visual memory distillation then trains the text-only memory to reproduce the representation change induced by the relevant video clip, preserving the internal effect of visual evidence beyond textual supervision. Across LVBench, LongVideoBench, and Video-MME, MIT^3 achieves data-efficient video-free question answering with substantially fewer synthesized samples than prior parameterized video-memory methods, demonstrating that effective video internalization depends on both where knowledge is written and how visual evidence is distilled into the model.
- Abstract（参考訳）: 長いビデオの理解には、証拠が時間的な文脈に分散している1つのビデオに関する多くの質問に答える必要がある。
従来のビデオ言語モデルは、繰り返しフレームをエンコードしたり、あらゆる質問の視覚的証拠を検索する。
パラメータ化されたビデオメモリは書き書きの代替手段を提供するが、既存の手法は主に合成されたテキストと固定された適応構成に依存しており、ビデオ知識を書かなければならない場所や、視覚的エビデンスがどのようにメモリを形作るべきかを残している。
テスト時間トレーニング(MIT^3)によるメモリ内部化(Memory Internalization)は,ビデオ不要なテキストのみの質問応答に対して,ビデオ毎の長大な動画をコンパクトな適応パラメータに書き込む,ビデオ毎の適応フレームワークである。
コンパクトなマルチスケール監視の下で、因果追跡は、ビデオグラウンドの回答のための各モデル層の因果記憶の有用性を測定し、ビデオ固有の適応位置を選択する。
視覚的メモリ蒸留は、テキストのみのメモリをトレーニングし、関連するビデオクリップによって誘導される表現変化を再現し、テキストの監督を超えた視覚的エビデンスの内部効果を保存する。
LVBench、LongVideoBench、Video-MMEの他、MIT^3は、従来のパラメータ化ビデオメモリ法よりもはるかに少ない合成サンプルで、データ効率のよいビデオ自由質問応答を実現し、効果的なビデオ内部化が、知識の書き方と視覚的エビデンスをモデルに蒸留する方法の両方に依存することを示した。
関連論文リスト
- Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding [47.48582887762574]
ReMemは、トレーニングフリーのLongVideoQAのための時間的粒度適応選択フレームワークである。
メモリ機構で時間情報を明示的に保存することにより、ReMemは冗長性を抑え、MLLMに堅牢なマルチグラニュラビデオ推論を行う権限を与える。
論文 参考訳（メタデータ） (2026-06-30T10:55:56Z) - MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering [54.54526361917178]
MemoryCardは長いビデオを自己完結型メモリカードに整理する。
その結果、MemoryCardは、同等の視覚的な予算の下で、長時間ビデオのQAパフォーマンスを継続的に改善することを示した。
論文 参考訳（メタデータ） (2026-06-04T09:23:31Z) - Memory-V2V: Augmenting Video-to-Video Diffusion Models with Memory [63.32726513381937]
現在のビデオエディタは、シーケンシャルな編集の相互一貫性を維持するのに苦労している。
Memory-V2Vは、既存のビデオ間モデルを明示的なメモリで拡張するフレームワークである。
メモリ-V2Vは、計算オーバーヘッドを最小限に抑えながら、はるかに相反するビデオを生成する。
論文 参考訳（メタデータ） (2026-01-22T19:59:17Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - AdaCM$^2$: On Understanding Extremely Long-Term Video with Adaptive Cross-Modality Memory Reduction [10.579335027350263]
AdaCM$2$は、ビデオストリーム上のビデオテキストアライメントに対する適応型クロスモダリティメモリリダクションアプローチである。
最大65%のGPUメモリ消費削減で、LVUデータセットの複数のタスク間で4.5%の改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T18:04:13Z) - Streaming Long Video Understanding with Large Language Models [83.11094441893435]
VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。
一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。
提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
論文 参考訳（メタデータ） (2024-05-25T02:22:09Z) - A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。
1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
論文 参考訳（メタデータ） (2023-12-12T16:10:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。