Fugu-MT 論文翻訳(概要): An Efficient Streaming Video Understanding Framework with Agentic Control

論文の概要: An Efficient Streaming Video Understanding Framework with Agentic Control

arxiv url: http://arxiv.org/abs/2605.17921v1
Date: Mon, 18 May 2026 06:29:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-19 17:57:48.919452
Title: An Efficient Streaming Video Understanding Framework with Agentic Control
Title（参考訳）: エージェント制御による効率的なストリーミング映像理解フレームワーク
Authors: Jinming Liu, Jianguo Huang, Zhaoyang Jia, Jiahao Li, Xiaoyi Zhang, Zongyu Guo, Bin Li, Wenjun Zeng, Yan Lu, Xin Jin,
Abstract要約: 本稿では,ストリーミング映像理解をカスケード制御問題として定式化するR3-Streamingを提案する。各クエリに対して、システムはメモリを圧縮し、応答の即応性を判断し、逐次経路を決定する。 R3-StreamingはストリーミングMLLMの最先端結果が得られることを示す。
参考スコア（独自算出の注目度）: 39.96398005590566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Streaming video requires handling dynamic information density under strict latency budgets. Yet, existing methods typically employ static strategies, such as fixed memory compression or reliance on a single model, forcing a trade-off: fast models fail on complex queries, while always-on heavy models violate real-time constraints and overcomplicate simple queries. Rather than fixing these decisions upfront, we propose R3-Streaming (Remember, Respond, Reason), which formulates streaming video understanding as a cascaded control problem: for each query, the system compresses memory, judges response readiness, and routes computation sequentially, so that each downstream decision builds on progressively refined information states. To optimize this pipeline, we introduce an age-aware forgetting policy for memory compression, as aggressively compressing historical frames can yield substantial performance gains. For compute routing, we propose TB-GRPO, a target-balanced reinforcement learning objective that routes hard queries to a stronger model while preventing mode collapse. Extensive evaluations demonstrate that R3-Streaming achieves state-of-the-art results among streaming MLLMs, reaching 57.92 on OVO-Bench and 76.36 on StreamingBench, while reducing visual token usage by 95 to 96 percent.
Abstract（参考訳）: ストリーミングビデオは、厳格な遅延予算の下で動的情報密度を扱う必要がある。しかし、既存のメソッドは通常、固定メモリ圧縮や単一モデルへの依存といった静的戦略を採用し、トレードオフを強制する:高速モデルは複雑なクエリで失敗するが、常時オンの重いモデルはリアルタイムの制約に反し、単純なクエリを過度に複雑にする。提案するR3-Streaming(Remember, Respond, Reason)は,各クエリに対して,各クエリに対してメモリを圧縮し,応答の即応性を判断し,処理を逐次的にルーティングする。このパイプラインを最適化するために、過去のフレームを積極的に圧縮することで大幅な性能向上が期待できるため、メモリ圧縮の老朽化を忘れるポリシーを導入する。本稿では, TB-GRPOを提案する。TB-GRPOは, ハードクエリを高次モデルにルーティングし, モード崩壊を防止できる目標バランス強化学習手法である。大規模な評価の結果、R3-StreamingはストリーミングMLLMの最先端の結果を達成し、OVO-Benchで57.92、StreamingBenchで76.36に到達し、視覚トークンの使用量を95%から96%削減した。

関連論文リスト

Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT) [2.8350851063316873]
ストリーミングコンテキスト – 推論による重なり合う検索 – は、このレイテンシを軽減することができる。本稿では,ストリーミング対応LLMサービスシステムStream2LLMについて述べる。
論文参考訳（メタデータ） (2026-03-29T06:49:12Z)
Thinking in Streaming Video [30.61790766076081]
ThinkStreamは、Watch-Think-Speakパラダイムに基づいた、ビデオ推論をストリーミングするためのフレームワークである。 Reasoning-Compressed Streaming Memory (RCSM) は、中間的推論トレースをコンパクトなセマンティックメモリとして扱う。複数のストリーミングビデオベンチマークの実験では、ThinkStreamが既存のオンラインビデオモデルを大幅に上回っていることが示されている。
論文参考訳（メタデータ） (2026-03-13T12:33:36Z)
Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文参考訳（メタデータ） (2026-02-20T18:59:50Z)
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
論文参考訳（メタデータ） (2026-01-21T07:26:15Z)
StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
StreamForestは、ビデオの理解をストリーミングするために設計されている。微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。 OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
論文参考訳（メタデータ） (2025-09-29T14:53:57Z)
FCA2: Frame Compression-Aware Autoencoder for Modular and Fast Compressed Video Super-Resolution [68.77813885751308]
最先端(SOTA)圧縮ビデオ超解像(CVSR)モデルは、長期の推論時間、複雑なトレーニングパイプライン、補助情報への依存など、永続的な課題に直面している。ハイパースペクトル画像(HSI)とビデオデータの構造的および統計的類似性から着想を得た,効率的でスケーラブルなソリューションを提案する。提案手法では,計算複雑性を低減し,推論を高速化し,フレーム間の時間情報の抽出を促進する圧縮駆動型次元減少戦略を導入する。
論文参考訳（メタデータ） (2025-06-13T07:59:52Z)
Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文参考訳（メタデータ） (2024-06-12T11:07:55Z)
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer [0.4588028371034407]
効率的な拡張メモリ変換器ブロックと動的遅延学習法を用いたフレームレベルモデルを用いて音声認識のストリーミングを行う。平均レイテンシは640msであり,テストクリーンでは6.4%,他では3.0%,チャンクワイドトランスでは3.0%の相対的なWER削減を実現している。
論文参考訳（メタデータ） (2022-03-29T14:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。