論文の概要: Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models

• arxiv url: http://arxiv.org/abs/2410.03290v1
• Date: Fri, 4 Oct 2024 10:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:18:35.989466
• Title: Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models
• Title（参考訳）: グラウンドドビデオLLM:ビデオ大言語モデルにおける微細な時間的グラウンド化
• Authors: Haibo Wang, Zhiyang Xu, Yu Cheng, Shizhe Diao, Yufan Zhou, Yixin Cao, Qifan Wang, Weifeng Ge, Lifu Huang,
• Abstract要約: 我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。 我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。 実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
• 参考スコア（独自算出の注目度）: 53.235170710385006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Large Language Models (Video-LLMs) have demonstrated remarkable capabilities in coarse-grained video understanding, however, they struggle with fine-grained temporal grounding. In this paper, we introduce Grounded-VideoLLM, a novel Video-LLM adept at perceiving and reasoning over specific video moments in a fine-grained manner. We identify that current Video-LLMs have limitations for fine-grained video understanding since they lack effective temporal modeling and timestamp representation. In light of this, we sharpen our model by incorporating (1) an additional temporal stream to encode the relationships between frames and (2) discrete temporal tokens enriched with specific time knowledge to represent timestamps. To optimize the training of Grounded-VideoLLM, we employ a multi-stage training scheme, beginning with simple video-captioning tasks and progressively introducing video temporal grounding tasks of increasing complexity. To further enhance Grounded-VideoLLM's temporal reasoning capability, we also curate a grounded VideoQA dataset by an automatic annotation pipeline. Extensive experiments demonstrate that Grounded-VideoLLM not only excels in fine-grained grounding tasks such as temporal sentence grounding, dense video captioning, and grounded VideoQA, but also shows great potential as a versatile video assistant for general video understanding.
• Abstract（参考訳）: ビデオ大言語モデル (Video-LLMs) は、粗粒度ビデオ理解において顕著な能力を示したが、細粒度の時間的接地に苦慮している。 本稿では,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介する。 実時間モデルやタイムスタンプ表現が欠如しているため,現在のビデオ-LLMでは微細な映像理解に制限がある。 そこで我々は,(1)フレーム間の関係を符号化するための時間的ストリームと(2)タイムスタンプを表現するための時間的知識に富んだ離散的時間的トークンを付加することにより,モデルを強化する。 Grounded-VideoLLMのトレーニングを最適化するために、簡単なビデオキャプションタスクから始まり、ビデオ時間的グラウンドニングタスクを段階的に導入し、複雑さを増す。 Grounded-VideoLLMの時間的推論能力をさらに強化するため、自動アノテーションパイプラインにより地上ビデオQAデータセットをキュレートする。 広汎な実験により、Grounded-VideoLLMは、時間文の接地、高密度ビデオキャプション、グラウンドドビデオQAといったきめ細かい接地作業に優れるだけでなく、一般的なビデオ理解のための多目的ビデオアシスタントとして大きな可能性を示す。

関連論文リスト

• VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos [58.765796160750504]
  VideoGLaMMは、ユーザが提供するテキスト入力に基づいて、ビデオの細かいピクセルレベルのグラウンド化を行うための新しいモデルである。 このアーキテクチャは、ビデオコンテンツの空間的要素と時間的要素の両方をテキスト命令と同期させるよう訓練されている。 実験の結果、我々のモデルは3つのタスクすべてで既存のアプローチより一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-07T17:59:27Z)
• Grounded Multi-Hop VideoQA in Long-Form Egocentric Videos [35.974750867072345]
  本稿では,長めの自己中心型ビデオにおけるMH-VidQA(Multi-Hop Video Question Answering)の問題について考察する。 時間的エビデンスを伴う複数ホップ質問応答ペアを生成するための自動パイプラインを開発する。 次に,大規模言語モデル (GeLM) を用いたグラウンディング散乱証拠 (Gunding Scattered Evidence with Large Language Model) と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-08-26T17:58:47Z)
• SynopGround: A Large-Scale Dataset for Multi-Paragraph Video Grounding from TV Dramas and Synopses [58.488812405557]
  ビデオグラウンディングは、特定の自然言語クエリを、トリミングされていないビデオにローカライズすることを目的としている。 本稿では,SynopGroundという大規模ビデオグラウンドデータセットを提案する。 我々はMPVG(Multi-Paragraph Video Grounding)と呼ばれるより複雑なビデオグラウンドについて紹介する。
  論文  参考訳（メタデータ） (2024-08-03T05:35:13Z)
• Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning [102.54669633984278]
  本稿では,微細な時間的理解作業を実現するためのビデオLLMであるMomentorを提案する。 Moment-10MでMomentorをトレーニングし、セグメントレベルの推論とローカライゼーションを可能にします。
  論文  参考訳（メタデータ） (2024-02-18T03:04:38Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VTimeLLM: Empower LLM to Grasp Video Moments [43.51980030572101]
  大規模言語モデル(LLM)は、顕著なテキスト理解能力を示している。 ビデオLLMはビデオ全体の粗い記述しか提供できない。 微細な映像モーメント理解のためのビデオLLMであるVTimeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:49:56Z)
• Revisiting the "Video" in Video-Language Understanding [56.15777956496518]
  本稿では,ビデオ言語解析の新しいモデルであるアテンポラルプローブ(ATP)を提案する。 現在のビデオ言語ベンチマークの限界とポテンシャルを特徴付ける。 ATPをフルビデオレベル時間モデルに効果的に統合することで、効率と最先端の精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。