論文の概要: LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding
- arxiv url: http://arxiv.org/abs/2608.25729v1
- Date: Wed, 26 Aug 2026 12:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.824669
- Title: LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding
- Title（参考訳）: LongVU-TTT:長時間ビデオ理解における視覚リサンプリングのための因果的テストタイムトレーニング
- Abstract要約: LongVU-TTTは、畳み込みテストタイムトレーニング(TTT)リサンプラーを挿入し、視覚エンコーダとLLM間の因果的な高速更新を行う。
グループ化された2Dの高速ウェイトは圧縮前に各ビデオに適応し、フレームの特徴を文脈化する。
LongVU-TTTは最大512フレームを処理し、128 LLMフレームに削減し、5つのビデオ理解ベンチマークで競合性能を達成する。
- 参考スコア（独自算出の注目度）: 30.902165004701683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-video MLLMs must model temporal change before a limited visual-token budget removes most frame evidence. We introduce LongVU-TTT, which inserts a convolutional Test-Time Training (TTT) resampler with causal fast-weight updates between the vision encoder and the LLM. Its grouped 2D fast weights adapt to each video and contextualize frame features before compression, while a hybrid uniform-and-change-aware selector retains explicit visual evidence for downstream reasoning. Under controlled conditions, TTT-Conv improves over TTT-MLP by up to +2.12 and bidirectional Mamba2 by up to +3.04 on MLVU, and it is stronger than attention- and fixed-state recurrent resamplers across three benchmarks. Analysis shows that the fast weights behave as a temporal aggregation state rather than a reliable long-horizon episodic memory: their benefit attenuates as evidence becomes more distant, motivating explicit frame retention. LongVU-TTT processes up to 512 frames before reducing them to 128 LLM frames and achieves competitive performance across five video understanding benchmarks.
- Abstract（参考訳）: 長ビデオMLLMは、限られた視覚的な予算がほとんどのフレーム証拠を除去する前に、時間的変化をモデル化しなければならない。
本稿では、LongVU-TTTを導入し、畳み込みテスト時間トレーニング(TTT)リサンプラーを挿入し、視覚エンコーダとLLM間の因果的な高速更新を行う。
グループ化された2Dの高速ウェイトは、圧縮前にフレームの特徴に適応し、フレームの特徴を文脈化する一方、ハイブリッドな一様と変化を認識するセレクタは、下流の推論の明確な視覚的証拠を保持する。
制御された条件下では、TT-ConvはTTT-MLPを最大2.12倍、Mamba2を最大3.04倍改善し、3つのベンチマークで注目と固定状態のリカレントリサンプラーよりも強い。
解析により、高速な重みは信頼できる長軸のエピソード記憶よりも時間的集約状態として振る舞うことが示され、その利点は証拠がより遠くなるにつれて弱まり、明らかなフレーム保持の動機となる。
LongVU-TTTは最大512フレームを処理し、128 LLMフレームに削減し、5つのビデオ理解ベンチマークで競合性能を達成する。
関連論文リスト
- DSE-VTG: Dual-Side Enhancement for Training-Free Video Temporal Grounding [11.584150931573738]
テキスト誘導ビデオ時間グラウンド(VTG)は、テキストクエリに基づいた未編集ビデオに関連セグメントをローカライズすることを目的としている。
近年のトレーニングフリーなVTGアプローチは、事前学習された視覚言語表現を直接マッチングすることでこの問題を軽減する。
DSE-VTGは,フレーム単位の視覚的エンコーディングと定型クエリ埋め込みの両方に対処するフレームワークである。
論文 参考訳（メタデータ） (2026-09-08T15:03:41Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。
これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
論文 参考訳（メタデータ） (2025-12-29T14:10:22Z) - LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。
我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。
トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
論文 参考訳（メタデータ） (2025-11-25T19:22:48Z) - video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。
テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。
プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
論文 参考訳（メタデータ） (2025-10-13T08:20:15Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - ReTaKe: Reducing Temporal and Knowledge Redundancy for Long Video Understanding [55.320254859515714]
ReTaKeは、ビデオLLMsが8倍のフレーム(最大2048年まで)を処理し、類似のモデルも3～5%縮小し、ビデオMME、MLVU、LongVideoBench、LVBenchなどと競合する。
私たちのコードはhttps://github.com/SCZwangxiao/video-ReTaKe.comで公開されています。
論文 参考訳（メタデータ） (2024-12-29T15:42:24Z) - FlashVTG: Feature Layering and Adaptive Score Handling Network for Video Temporal Grounding [25.21011724370177]
テキスト誘導ビデオ時間グラウンド(VTG)は、テキスト記述に基づいて、関連セグメントを未編集ビデオにローカライズすることを目的としている。
本稿では,TFL(Temporal Feature Layering)モジュールとASR(Adaptive Score Refinement)モジュールを備えたフレームワークであるFlashVTGを紹介する。
FlashVTGは、Moment Retrieval(MR)とHighlight Detection(HD)の両方で広く採用されている4つのデータセット上で、最先端のパフォーマンスを達成する
論文 参考訳（メタデータ） (2024-12-18T02:23:33Z) - LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。
DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。
時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
論文 参考訳（メタデータ） (2024-10-22T21:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。