論文の概要: VideoExpert: Augmented LLM for Temporal-Sensitive Video Understanding

• arxiv url: http://arxiv.org/abs/2504.07519v1
• Date: Thu, 10 Apr 2025 07:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:51.639059
• Title: VideoExpert: Augmented LLM for Temporal-Sensitive Video Understanding
• Title（参考訳）: VideoExpert: テンポラリなビデオ理解のための拡張LDM
• Authors: Henghao Zhao, Ge-Peng Ji, Rui Yan, Huan Xiong, Zechao Li,
• Abstract要約: VideoExpertは、複数の時間に敏感なビデオタスクに適した汎用MLLMである。 時間の専門家は、時系列をモデル化し、時間的接地を行う責任を負う。 空間専門家は、コンテンツの詳細分析と以下の指示に焦点を当てている。 コンテンツ生成から時間的グラウンドをオフロードすることで、VideoExpertはタイムスタンプ予測におけるテキストパターンのバイアスを防ぐ。
• 参考スコア（独自算出の注目度）: 48.745013691038295
• License:
• Abstract: The core challenge in video understanding lies in perceiving dynamic content changes over time. However, multimodal large language models struggle with temporal-sensitive video tasks, which requires generating timestamps to mark the occurrence of specific events. Existing strategies require MLLMs to generate absolute or relative timestamps directly. We have observed that those MLLMs tend to rely more on language patterns than visual cues when generating timestamps, affecting their performance. To address this problem, we propose VideoExpert, a general-purpose MLLM suitable for several temporal-sensitive video tasks. Inspired by the expert concept, VideoExpert integrates two parallel modules: the Temporal Expert and the Spatial Expert. The Temporal Expert is responsible for modeling time sequences and performing temporal grounding. It processes high-frame-rate yet compressed tokens to capture dynamic variations in videos and includes a lightweight prediction head for precise event localization. The Spatial Expert focuses on content detail analysis and instruction following. It handles specially designed spatial tokens and language input, aiming to generate content-related responses. These two experts collaborate seamlessly via a special token, ensuring coordinated temporal grounding and content generation. Notably, the Temporal and Spatial Experts maintain independent parameter sets. By offloading temporal grounding from content generation, VideoExpert prevents text pattern biases in timestamp predictions. Moreover, we introduce a Spatial Compress module to obtain spatial tokens. This module filters and compresses patch tokens while preserving key information, delivering compact yet detail-rich input for the Spatial Expert. Extensive experiments demonstrate the effectiveness and versatility of the VideoExpert.
• Abstract（参考訳）: ビデオ理解における中核的な課題は、時間とともに動的コンテンツの変化を認識することだ。 しかし、マルチモーダルな大規模言語モデルは、特定の事象の発生を示すためにタイムスタンプを生成する必要のある、時間に敏感なビデオタスクに苦労する。 既存の戦略では、MLLMは絶対タイムスタンプや相対タイムスタンプを直接生成する必要がある。 これらのMLLMは、タイムスタンプを生成する際の視覚的手がかりよりも言語パターンに依存する傾向があり、その性能に影響を及ぼす。 この問題に対処するために,複数の時間感性ビデオタスクに適した汎用MLLMであるVideoExpertを提案する。 専門家の概念に触発されたVideoExpertは、テンポラルエキスパートと空間エキスパートの2つの並列モジュールを統合している。 時間の専門家は、時系列をモデル化し、時間的接地を行う責任を負う。 高フレームレートで圧縮されたトークンを処理し、ビデオのダイナミックなバリエーションをキャプチャし、正確なイベントローカライゼーションのための軽量な予測ヘッドを含む。 空間専門家は、コンテンツの詳細分析と以下の指示に焦点を当てている。 特別に設計された空間トークンと言語入力を処理し、コンテンツ関連の応答を生成する。 これら2人の専門家は特別なトークンを通じてシームレスに協力し、協調した時間的接地とコンテンツ生成を保証します。 特に、時間と空間の専門家は独立したパラメータセットを維持している。 コンテンツ生成から時間的グラウンドをオフロードすることで、VideoExpertはタイムスタンプ予測におけるテキストパターンのバイアスを防ぐ。 さらに,空間トークンを取得するために空間圧縮モジュールを導入する。 このモジュールは鍵情報を保持しながらパッチトークンをフィルタリングして圧縮し、空間エキスパートにコンパクトだが詳細に富んだ入力を提供する。 大規模な実験は、VideoExpertの有効性と汎用性を示している。

関連論文リスト

• Do Language Models Understand Time? [2.290956583394892]
  大規模言語モデル(LLM)は、アクション認識、異常検出、要約を含む、ビデオベースのコンピュータビジョンアプリケーションに革命をもたらした。 本研究は,ビデオ処理におけるLLMの役割を,時間的推論能力に着目して批判的に考察する。 LLMの時間的理解を制限するため、バイアス、時間的アノテーションの欠如、ドメイン固有の制限など、既存のビデオデータセットによる課題を分析します。
  論文  参考訳（メタデータ） (2024-12-18T13:38:06Z)
• Mind the Time: Temporally-Controlled Multi-Event Video Generation [65.05423863685866]
  時間制御を備えたマルチイベントビデオジェネレータMinTを提案する。 私たちの重要な洞察は、各イベントを生成されたビデオの特定の期間にバインドすることで、モデルが一度にひとつのイベントに集中できるようにすることです。 文献の中ではじめて、我々のモデルは生成されたビデオのイベントのタイミングを制御できる。
  論文  参考訳（メタデータ） (2024-12-06T18:52:20Z)
• Video LLMs for Temporal Reasoning in Long Videos [7.2900856926028155]
  テンポラルVLM(TemporalVLM)は、ビデオ大言語モデルであり、時間的推論を効果的に行い、長いビデオにおいてきめ細やかな理解を可能にする。 我々のアプローチには、長期入力ビデオの時間認識機能へのマッピングと、ローカルおよびグローバルの両方のキューを含むビジュアルエンコーダが含まれる。 本研究では,TemporalVLMの評価を容易にするために,産業集積プロセス,すなわちIndustrialASMの大規模ビデオデータセットを提案する。
  論文  参考訳（メタデータ） (2024-12-04T00:50:33Z)
• TimeSuite: Improving MLLMs for Long Video Understanding via Grounded Tuning [42.928144657587325]
  本稿では,従来のショートフォームビデオMLLMを長大なビデオ理解に適用するための新デザインであるTimeSuiteを提案する。 TimeSuiteは、ショートフォームMLLMの長いビデオ理解能力を向上するための、成功したソリューションを提供する。 さらに,9つのタスクと349kの高品質な接地アノテーションからなる総合的な接地中心の命令データセットであるTimeProを紹介する。
  論文  参考訳（メタデータ） (2024-10-25T17:19:55Z)
• Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
  我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。 我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。 実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
  論文  参考訳（メタデータ） (2024-10-04T10:04:37Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VTimeLLM: Empower LLM to Grasp Video Moments [43.51980030572101]
  大規模言語モデル(LLM)は、顕著なテキスト理解能力を示している。 ビデオLLMはビデオ全体の粗い記述しか提供できない。 微細な映像モーメント理解のためのビデオLLMであるVTimeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:49:56Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。