論文の概要: SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis

• arxiv url: http://arxiv.org/abs/2411.16173v1
• Date: Mon, 25 Nov 2024 08:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:30.816146
• Title: SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis
• Title（参考訳）: SALOVA:長期ビデオ解析におけるターゲット検索とルーティングのためのセグメント拡張長ビデオアシスタント
• Authors: Junho Kim, Hyunjun Kim, Hosu Lee, Yong Man Ro,
• Abstract要約: 本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
• 参考スコア（独自算出の注目度）: 52.050036778325094
• License:
• Abstract: Despite advances in Large Multi-modal Models, applying them to long and untrimmed video content remains challenging due to limitations in context length and substantial memory overhead. These constraints often lead to significant information loss and reduced relevance in the model responses. With the exponential growth of video data across web platforms, understanding long-form video is crucial for advancing generalized intelligence. In this paper, we introduce SALOVA: Segment-Augmented LOng Video Assistant, a novel video-LLM framework designed to enhance the comprehension of lengthy video content through targeted retrieval process. We address two main challenges to achieve it: (i) We present the SceneWalk dataset, a high-quality collection of 87.8K long videos, each densely captioned at the segment level to enable models to capture scene continuity and maintain rich descriptive context. (ii) We develop robust architectural designs integrating dynamic routing mechanism and spatio-temporal projector to efficiently retrieve and process relevant video segments based on user queries. Our framework mitigates the limitations of current video-LMMs by allowing for precise identification and retrieval of relevant video segments in response to queries, thereby improving the contextual relevance of the generated responses. Through extensive experiments, SALOVA demonstrates enhanced capability in processing complex long-form videos, showing significant capability to maintain contextual integrity across extended sequences.
• Abstract（参考訳）: 大規模マルチモーダルモデルの発展にもかかわらず、コンテキスト長の制限とメモリオーバーヘッドがかなり大きいため、長いビデオコンテンツに適用することは困難である。 これらの制約は、しばしば重要な情報損失とモデル応答の関連性を減少させる。 ウェブプラットフォーム全体にわたるビデオデータの指数関数的な成長により、汎用インテリジェンスを前進させるためには、長大なビデオを理解することが不可欠である。 本稿では,SALOVA: Segment-Augmented LOng Video Assistantを紹介する。 私たちは、それを達成するための2つの主要な課題に取り組みます。 (i)SceneWalkデータセットは87.8K長ビデオの高品質なコレクションであり、それぞれセグメントレベルで高密度にキャプションされ、シーンの連続性をキャプチャし、リッチな記述的コンテキストを維持することができる。 (II)動的ルーティング機構と時空間プロジェクタを統合したロバストなアーキテクチャ設計を開発し、ユーザクエリに基づいて関連ビデオセグメントを効率的に検索・処理する。 本フレームワークは,クエリに応答して関連ビデオセグメントの正確な識別と検索を可能にすることにより,現在のビデオLMMの限界を緩和し,生成した応答の文脈的関連性を改善する。 広範な実験を通じて、SALOVAは複雑なロングフォームビデオの処理能力の向上を示し、拡張シーケンス間のコンテキスト整合性を維持する重要な能力を示している。

関連論文リスト

• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• OmAgent: A Multi-modal Agent Framework for Complex Video Understanding with Task Divide-and-Conquer [14.503628667535425]
  広範なビデオの処理は、膨大なデータと処理要求のために大きな課題をもたらします。 我々はOmAgentを開発し、特定のクエリの関連ビデオフレームを効率的に保存し、検索する。 自律推論が可能なDivide-and-Conquer Loopを備えている。 より高度な自律性と堅牢なツールコールシステムを備えており、さらに複雑なタスクを達成できます。
  論文  参考訳（メタデータ） (2024-06-24T13:05:39Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking [33.75267864844047]
  ビデオオブジェクト(VOS)は、より大きなデータセットとより複雑で現実的な設定が利用できるという、ますます重要な問題として現れています。 本稿では,上記の課題を体系的に分析し,対処することを目的とした,クリップ型DETR方式のエンコーダデコーダアーキテクチャを提案する。 具体的には、物体が大きな変形を受ける映像の一部に学習を集中させる新しい変換認識損失を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:02:03Z)
• MoVQA: A Benchmark of Versatile Question-Answering for Long-Form Movie Understanding [69.04413943858584]
  長文映画の質問応答データセットであるMoVQAを紹介する。 マルチモーダルシステムの多様な認知能力を評価するためのベンチマークも行った。
  論文  参考訳（メタデータ） (2023-12-08T03:33:38Z)
• Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding [57.917616284917756]
  実世界のビデオは、しばしば数分間の長さであり、意味的に一貫した長さのセグメントがある。 長いビデオを処理するための一般的なアプローチは、一定時間の長さの一様にサンプリングされたクリップにショートフォームビデオモデルを適用することである。 このアプローチは、固定長のクリップがしばしば冗長または非形式的であるため、長いビデオの基本的な性質を無視する。
  論文  参考訳（メタデータ） (2023-09-20T18:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。