論文の概要: video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory

• arxiv url: http://arxiv.org/abs/2510.11129v1
• Date: Mon, 13 Oct 2025 08:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.26219
• Title: video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory
• Title（参考訳）: Video-SALMONN S: Memory経由でオーディオ・ビジュアルのLLMをストリーミング
• Authors: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang,
• Abstract要約: Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
• 参考スコア（独自算出の注目度）: 51.03819128505358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous, high-frame-rate, high-resolution processing of long video streams is critical for future AI agents, yet current video-understanding LLMs struggle to scale. Offline, fixed-frame-number methods require the stream length to adapt frame rates; streaming methods constrain memory by merging or discarding tokens, losing information. We propose video-SALMONN S, a streaming audio-visual LLM that, to our knowledge, is the first to process 3-hour videos at 1 FPS and 360p resolution under a fixed memory budget. Our model introduces (i) a test-time-training (TTT) memory module that continually updates token representations to capture long-range dependencies by replacing token merging, and (ii) a prompt-dependent memory reader that selectively retrieves context-relevant content from fixed-size memory. The TTT module is optimised with a Hessian-free conjugate-gradient procedure (TTT_HF) for efficient adaptation. On long-video benchmarks (Video-MME, LVBench, VideoEvalPro), video-SALMONN S sustains high-quality understanding on multi-hour videos with 10k frames and 1M tokens. Our 8B-parameter model achieves 74.2% overall and 67.8% on the Video-MME long split, outperforming both offline and streaming baselines.
• Abstract（参考訳）: 長いビデオストリームの連続的、高いフレームレート、高解像度の処理は、将来のAIエージェントにとって重要であるが、現在のビデオ基盤のLLMはスケールに苦慮している。 オフラインの固定フレーム数法では、フレームレートに適応するためにストリーム長を必要とし、ストリーミングメソッドはトークンをマージまたは破棄することでメモリを制限し、情報を失う。 我々は,ビデオSALMONN Sを提案する。このビデオSALMONN Sは1FPS,360pの3時間動画を,固定メモリの予算で初めて処理することができる。 私たちのモデルが紹介する i) トークンのマージを置き換えて長距離依存関係をキャプチャするためにトークン表現を継続的に更新するテストタイムトレーニング(TTT)メモリモジュール。 (ii)固定サイズのメモリからコンテキスト関連コンテンツを選択的に検索するプロンプト依存型メモリリーダー。 TTTモジュールは、効率的に適応するためのヘッセンフリー共役勾配手順(TTT_HF)で最適化される。 長ビデオベンチマーク(Video-MME, LVBench, VideoEvalPro)では、ビデオSALMONN Sは10kフレームと1Mトークンを持つマルチ時間ビデオの高品質な理解を維持している。 我々の8Bパラメーターモデルは、ビデオとMMEの長い分割で74.2%、67.8%を達成し、オフラインとストリーミングのベースラインを上回りました。

関連論文リスト

• Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
  Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。 実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
  論文  参考訳（メタデータ） (2025-08-04T07:31:10Z)
• Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs [25.13186579764434]
  Sparse-to-Dense(StD)は、2つの異なるモジュールを統合する新しいデコード戦略である。 StDはチューニング不要のプラグイン・アンド・プレイのソリューションで、最大1.94$times$ビデオ処理のウォールタイムスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-05-25T14:09:28Z)
• AdaReTaKe: Adaptive Redundancy Reduction to Perceive Longer for Video-language Understanding [55.320254859515714]
  MLLM(Multimodal Large Language Models)は、ビデオ理解に革命をもたらしたが、長いビデオを処理する際の文脈長によって制限されている。 AdaReTaKeは,時間と層間の圧縮比を理論的保証とともに割り当てることで,視覚的冗長性を柔軟に低減する訓練自由手法である。 VideoMME、MLVU、LongVideoBench、LVBenchのデータセットの実験では、AdaReTaKeは既存の7Bモデルと72Bモデルでそれぞれ2.3%、そして2.8%を上回っている。
  論文  参考訳（メタデータ） (2025-03-16T16:14:52Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• LongVU: Spatiotemporal Adaptive Compression for Long Video-Language Understanding [65.46303012350207]
  LongVUは、長いビデオの視覚的詳細を保存しながら、ビデオトークンの数を減らす適応圧縮機構である。 DINOv2の機能を利用して、高い類似性を示す冗長なフレームを削除します。 時間的依存関係に基づいて,フレーム間の空間トークン削減を行う。
  論文  参考訳（メタデータ） (2024-10-22T21:21:37Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。