論文の概要: SVMemAgent: A Streaming Video Memory Agent for Query-Agnostic Online Frame Selection
- arxiv url: http://arxiv.org/abs/2609.18540v1
- Date: Wed, 16 Sep 2026 12:04:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.790961
- Title: SVMemAgent: A Streaming Video Memory Agent for Query-Agnostic Online Frame Selection
- Title（参考訳）: SVMemAgent: クエリに依存しないオンラインフレーム選択のためのストリーミングビデオメモリエージェント
- Abstract要約: 本稿では、以前に観察されたコンテンツの代表的なメモリであるストリーミングビデオメモリ(SVMem)を紹介し、ビデオストリームが展開するにつれて継続的に更新する。
SVMemAgentは、既存のメモリフレームを受信フレームに置き換えるか、破棄するかを各タイムステップで決定することで、メモリを動的に維持する。
オンラインおよびオフラインのビデオベンチマークの実験では、SVMemAgentがオンラインフレーム選択ベースラインを一貫して上回っていることが示されている。
- 参考スコア（独自算出の注目度）: 40.03542995784475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most keyframe selection studies focus on offline settings, assuming access to the full video and query in advance. In contrast, real-world streaming scenarios require online frame selection under unknown video duration, without access to either the query or future frames during selection. To address this, we introduce Streaming Video Memory (SVMem), a compact and representative memory of previously observed content, updated continuously as the video stream unfolds. Building on this setting, we propose the Streaming Video Memory Agent (SVMemAgent), which dynamically maintains a memory by deciding at each timestep whether to replace an existing memory frame with the incoming frame or discard it. SVMemAgent is trained using Group Relative Policy Optimization (GRPO) with task-driven rewards derived from diverse question-answer pairs, implicitly exposing the policy to a distribution of queries during training so that SVMem retains generally informative frames at inference, when queries are unavailable. Experiments on both online and offline video benchmarks show that SVMemAgent consistently outperforms online frame selection baselines and achieves competitive performance with offline methods that assume access to the full video and query. Through task-driven rewards, SVMemAgent learns an emergent keyframe selection policy that prefers frames containing textual information, which may benefit downstream VideoQA tasks.
- Abstract（参考訳）: ほとんどのキーフレーム選択研究は、ビデオ全体へのアクセスとクエリを事前に前提として、オフライン設定に焦点を当てている。
対照的に、現実世界のストリーミングシナリオは、選択中にクエリまたは将来のフレームにアクセスすることなく、未知のビデオ期間でオンラインフレームの選択を必要とする。
これを解決するために,ビデオストリームの展開に伴って継続的に更新される,以前に観察されたコンテンツのコンパクトで代表的なメモリであるStreaming Video Memory (SVMem)を導入する。
この設定に基づいて、既存のメモリフレームを受信フレームに置き換えるか、破棄するかを各タイムステップ毎に決定することで、動的にメモリを保守するStreaming Video Memory Agent (SVMemAgent)を提案する。
SVMemAgentはGRPO(Group Relative Policy Optimization)を使用してトレーニングされており、多様な問合せ対から派生したタスク駆動の報酬をトレーニング中にクエリの分布に暗黙的に公開することで、クエリが利用できない場合、SVMemは推論時に一般的に情報的フレームを保持する。
オンラインおよびオフラインのビデオベンチマークの実験では、SVMemAgentはオンラインフレーム選択のベースラインを一貫して上回り、フルビデオとクエリへのアクセスを前提としたオフラインメソッドと競合するパフォーマンスを実現している。
タスク駆動の報酬を通じて、SVMemAgentは、下流のビデオQAタスクの恩恵を受ける可能性のあるテキスト情報を含むフレームを好む緊急キーフレーム選択ポリシーを学ぶ。
関連論文リスト
- VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding [60.161767365040554]
本稿では,クエリグラウンドビジュアルサンプリングのためのトレーニングフリーかつプラグイン・アンド・プレイフレームワークを提案する。
Visual Firstは、各クエリをグローバルまたはローカルに分類し、それに対応するサンプリング戦略を適用する。
実験の結果、Visualは均一サンプリングよりも複数のLVLMを継続的に改善し、ビデオ-MME、LongVideoBench、MLVUで5.2%、7.7%、11.6%を達成し、Qwen2.5-VL-7Bで既存のトレーニング不要のビジュアルサンプリング手法より優れていた。
論文 参考訳（メタデータ） (2026-07-30T16:23:10Z) - QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding [78.36929439152566]
本稿では,長いビデオからコンパクトだが情報に富んだフレームを選択可能なクエリ・アンド・コンテント・アウェア(QCA)選択フレームワークを提案する。
QCAは最もクエリ関連性の高いフレームにアンカーし、クエリのセマンティックな関連性を維持しながら、多様性を最大化するために追加のフレームを反復的に組み込む。
我々の方法は追加のトレーニングを必要とせず、既存のVideo-LLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-07-01T14:19:24Z) - Fewer Steps, Better Performance: Efficient Cross-Modal Clip Trimming for Video Moment Retrieval Using Language [60.91064560080974]
本稿では,クエリ関連クリップをトリムするスポットVMRを提案する。
提案するSpotVMRは,最新のVMR手法の効率性を実現するプラグイン・アンド・プレイモジュールとして機能する。
論文 参考訳（メタデータ） (2026-05-28T11:42:28Z) - Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。
トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-03-01T08:25:37Z) - VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding [9.415923244280542]
VideoBrainは、Vision-Language Modelsが学習したサンプリングポリシーを通じて視覚情報を適応的に取得することを可能にするエンドツーエンドフレームワークである。
提案手法は,ビデオ間の意味検索を行うCLIPエージェントと,時間間隔内での高密度サンプリングを行うUniformエージェントの2つの補完エージェントを特徴とする。
論文 参考訳（メタデータ） (2026-02-04T00:08:35Z) - Improving Video Question Answering through query-based frame selection [15.416301612152004]
Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。
重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。
本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
論文 参考訳（メタデータ） (2026-01-12T12:10:20Z) - Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs [13.306662159600677]
適応型フレーム選択とマルチテンポラリスケーリングのための新しいアプローチであるビデオQFrameを紹介する。
Q-Frameは、CLIPのようなテキスト画像マッチングネットワークによって生成されたトレーニング不要のプラグイン・アンド・プレイ戦略を採用している。
ベンチマークデータセットの広範な実験を通じて,Q-Frameの有効性を実証する。
論文 参考訳（メタデータ） (2025-06-27T11:30:51Z) - VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
VideoRAGは、クエリによる関連性に基づいて、動的にビデオを取得するフレームワークである。
VideoRAGは近年のLVLM(Large Video Language Models)を利用している。
我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-01-10T11:17:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。