論文の概要: Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding
- arxiv url: http://arxiv.org/abs/2607.24794v1
- Date: Tue, 30 Jun 2026 10:55:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.069662
- Title: Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding
- Title（参考訳）: 記憶による推論: 時間的粒度適応型学習自由ビデオ理解フレームワーク
- Abstract要約: ReMemは、トレーニングフリーのLongVideoQAのための時間的粒度適応選択フレームワークである。
メモリ機構で時間情報を明示的に保存することにより、ReMemは冗長性を抑え、MLLMに堅牢なマルチグラニュラビデオ推論を行う権限を与える。
- 参考スコア（独自算出の注目度）: 47.48582887762574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Multimodal Large Language Models (MLLMs) demonstrate superior generalization in fundamental video tasks, restricted context windows limit their long video understanding. To accommodate this constraint, models typically resort to keyframe selection. However, uniform sampling or static query-guided selection often overlooks critical temporal context, failing to adapt to the varying query temporal granularities. In this paper, we propose ReMem, a temporal granularity-adaptive keyframe selection framework for training-free LongVideoQA. ReMem introduces a dual-level memory-augmented adaptation. At the query level, Memory-Driven Question Parsing leverages LLM long-term memory to decode question temporal granularity and extract semantic entities. At the video level, Synergistic Dual-Semantic Frame Alignment exploits intrinsic structural memory to align frames with query semantics, guiding Structure-Aware Dynamic Frame Routing to cluster events and optimally distribute sampling budgets. By explicitly preserving temporal information with memory mechanisms, ReMem suppresses redundancy and empowers MLLMs to perform robust multi-granular video reasoning. Evaluations across four popular LongVideoQA benchmarks using three MLLMs demonstrate highly efficient, state-of-the-art zero-shot performance; notably, LLaVA-Video with ReMem reaches 54.5% (+12.3%) on LVBench and 67.1% (+8.2%) on LongVideoBench.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は基本的なビデオタスクにおいて優れた一般化を示すが、制限されたコンテキストウィンドウは長いビデオ理解を制限する。
この制約を満たすために、モデルは通常、キーフレームの選択に頼る。
しかし、一様サンプリングや静的クエリ誘導の選択は、しばしば重要な時間的コンテキストを見落とし、クエリの時間的粒度の変化に適応できない。
本稿では,学習不要なLongVideoQAのための時間的粒度適応型キーフレーム選択フレームワークReMemを提案する。
ReMemはデュアルレベルメモリ拡張アダプティブを導入している。
クエリレベルでは、LLMの長期メモリを活用して、質問の時間的粒度をデコードし、セマンティックエンティティを抽出する。
ビデオレベルでは、Synergistic Dual-Semantic Frame Alignmentは、本質的な構造記憶を利用して、フレームをクエリセマンティクスと整合させ、Structure-Aware Dynamic Frame Routingをクラスタイベントに誘導し、サンプリング予算を最適に分散する。
メモリ機構で時間情報を明示的に保存することにより、ReMemは冗長性を抑え、MLLMに堅牢なマルチグラニュラビデオ推論を行う権限を与える。
3つのMLLMを用いた4つの有名なLongVideoQAベンチマークによる評価は、非常に効率的で最先端のゼロショット性能を示し、特に、ReMemを使ったLLaVA-VideoはLVBenchで54.5%(+12.3%)、LongVideoBenchで67.1%(+8.2%)に達した。
関連論文リスト
- WAT: Online Video Understanding Needs Watching Before Thinking [25.136741695647213]
WAT(Watching Before Thinking)は、オンラインビデオ推論のための2段階のフレームワークである。
処理をクエリ非依存の監視ステージとクエリトリガーの思考ステージに分離する。
オンラインビデオベンチマークでは、StreamingBenchでは77.7%、OVO-Benchでは55.2%の精度で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-12T13:42:32Z) - See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval [5.835635134105812]
本稿では,高情報解像度を維持しながらメモリ効率を向上させるフレームワークであるSMORE(See MORE, store less)を提案する。
SMORE (1) は,ユーザ意図に沿ったセマンティクスを符号化するためにクエリ誘導キャプションを使用し,(2) 関連するセグメントをハイライトするためにクエリ認識の重要度変調を適用し,(3) キーコンテンツを保存するためにフレームを適応的に圧縮する。
実験的検証により、SMOREはQVHighlights、Charades-STA、ActivityNet-Captionsベンチマークで最先端のパフォーマンスを達成することが明らかになった。
論文 参考訳（メタデータ） (2026-01-14T10:28:11Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - Moment Sampling in Video LLMs for Long-Form Video QA [22.638644170177013]
モーメントサンプリング(moment sample)とは、モデルが最も関係のあるフレームを質問の文脈に応じて選択できるモデルに依存しないアプローチである。
与えられた質問に最も関係のあるフレームに焦点をあてることで、ビデオLLMにおける長大なビデオQA性能を向上させることができる。
論文 参考訳（メタデータ） (2025-06-18T03:23:56Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。
本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。
本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2024-11-23T13:23:22Z) - LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。
DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。
時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
論文 参考訳（メタデータ） (2024-10-22T21:21:37Z) - VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
VideoLLaMBは、長いビデオ理解のためのフレームワークである。
SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。
VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
論文 参考訳（メタデータ） (2024-09-02T08:52:58Z) - Too Many Frames, Not All Useful: Efficient Strategies for Long-Form Video QA [40.21221568678641]
広い時間間隔にまたがるロングフォームビデオは、非常に冗長な情報である。
正しい応答を生成するために必要な全ての情報は、しばしばフレームの小さなサブセットに含まれる。
近年の文献では、LVQAベンチマークにおける大きな言語モデルの使用を探求し、例外的な性能を達成している。
論文 参考訳（メタデータ） (2024-06-13T17:59:16Z) - Streaming Long Video Understanding with Large Language Models [83.11094441893435]
VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。
一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。
提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
論文 参考訳（メタデータ） (2024-05-25T02:22:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。