論文の概要: Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding

• arxiv url: http://arxiv.org/abs/2411.16932v1
• Date: Mon, 25 Nov 2024 21:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:25.246656
• Title: Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding
• Title（参考訳）: Seq2Time:ビデオLLM時間グラウンドのための逐次知識伝達
• Authors: Andong Deng, Zhongpai Gao, Anwesa Choudhuri, Benjamin Planche, Meng Zheng, Bin Wang, Terrence Chen, Chen Chen, Ziyan Wu,
• Abstract要約: ビデオ大言語モデル(LLM)は、長いビデオ内の出来事を理解し、推論するために、時間的認識が不可欠である。 データ指向のトレーニングパラダイムであるSeq2Timeを提案する。長いビデオの時間的意識を高めるために,画像と短いビデオクリップのシーケンスを活用する。
• 参考スコア（独自算出の注目度）: 31.888705786850736
• License:
• Abstract: Temporal awareness is essential for video large language models (LLMs) to understand and reason about events within long videos, enabling applications like dense video captioning and temporal video grounding in a unified system. However, the scarcity of long videos with detailed captions and precise temporal annotations limits their temporal awareness. In this paper, we propose Seq2Time, a data-oriented training paradigm that leverages sequences of images and short video clips to enhance temporal awareness in long videos. By converting sequence positions into temporal annotations, we transform large-scale image and clip captioning datasets into sequences that mimic the temporal structure of long videos, enabling self-supervised training with abundant time-sensitive data. To enable sequence-to-time knowledge transfer, we introduce a novel time representation that unifies positional information across image sequences, clip sequences, and long videos. Experiments demonstrate the effectiveness of our method, achieving a 27.6% improvement in F1 score and 44.8% in CIDEr on the YouCook2 benchmark and a 14.7% increase in recall on the Charades-STA benchmark compared to the baseline.
• Abstract（参考訳）: ビデオ大言語モデル(LLM)は、長いビデオ内の出来事を理解し、推論し、密集したビデオキャプションや、統合されたシステムにおける時間的ビデオグラウンドディングのような応用を可能にするために、時間的認識が不可欠である。 しかし、詳細なキャプションと正確な時間的アノテーションを持つ長いビデオの不足は、その時間的意識を制限している。 本稿では,長いビデオにおける時間的意識を高めるために,画像と短いビデオクリップのシーケンスを活用するデータ指向トレーニングパラダイムであるSeq2Timeを提案する。 時系列の位置を時間的アノテーションに変換することで、大規模な画像とクリップキャプションデータセットを、長いビデオの時間的構造を模倣するシーケンスに変換することで、時間に敏感な豊富なデータによる自己教師付きトレーニングを可能にする。 時系列から時間までの知識伝達を可能にするために,画像シーケンス,クリップシーケンス,長ビデオ間の位置情報を統一する新しい時間表現を導入する。 実験の結果,YouCook2ベンチマークではF1スコアが27.6%,CIDErが44.8%,Charades-STAベンチマークが14.7%向上した。

関連論文リスト

• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
  我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。 我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。 実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
  論文  参考訳（メタデータ） (2024-10-04T10:04:37Z)
• Contrastive Language Video Time Pre-training [12.876308881183371]
  本稿では,コントラスト学習による長文ビデオにおける言語,ビデオ,時間表現の新たな学習手法であるLAVITIを紹介する。 我々のモデルは、学習可能なモーメントクエリを用いて、クリップレベルの視覚的特徴、言語的特徴、時間的特徴をデコードする。 本手法をCharadesEgo行動認識に応用し,最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-06-04T02:48:59Z)
• Streaming Long Video Understanding with Large Language Models [83.11094441893435]
  VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。 一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。 提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
  論文  参考訳（メタデータ） (2024-05-25T02:22:09Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• TimeChat: A Time-sensitive Multimodal Large Language Model for Long Video Understanding [20.037781644877388]
  TimeChatは、長いビデオ理解のために特別に設計された、時間に敏感なマルチモーダルな大規模言語モデルである。 本モデルは,(1) フレームのタイムスタンプに視覚的コンテンツをバインドするタイムスタンプ対応フレームエンコーダ,(2) 長さの異なるビデオトークンシーケンスを生成するスライドビデオQ-Formerの2つの重要なアーキテクチャ的コントリビューションを含む。
  論文  参考訳（メタデータ） (2023-12-04T17:09:52Z)
• VTimeLLM: Empower LLM to Grasp Video Moments [43.51980030572101]
  大規模言語モデル(LLM)は、顕著なテキスト理解能力を示している。 ビデオLLMはビデオ全体の粗い記述しか提供できない。 微細な映像モーメント理解のためのビデオLLMであるVTimeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:49:56Z)
• HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
  HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。 クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。 我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T21:53:19Z)
• Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
  我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。 ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。 様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
  論文  参考訳（メタデータ） (2022-07-19T04:44:08Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。