論文の概要: Temporal Contrastive Learning for Video Temporal Reasoning in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2412.11391v1
• Date: Mon, 16 Dec 2024 02:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:57:17.638108
• Title: Temporal Contrastive Learning for Video Temporal Reasoning in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおけるビデオ時間推論のための時間的コントラスト学習
• Authors: Rafael Souza, Jia-Hao Lim, Alexander Davis,
• Abstract要約: TSADP(Temporal Semantic Alignment via Dynamic Prompting)は、時間的推論能力を高める新しいフレームワークである。 VidSitu データセット上での TSADP の評価を行った。 我々の分析は、TSADPの堅牢性、効率性、実用性を強調し、ビデオ言語理解の分野における一歩を踏み出した。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License:
• Abstract: Temporal reasoning is a critical challenge in video-language understanding, as it requires models to align semantic concepts consistently across time. While existing large vision-language models (LVLMs) and large language models (LLMs) excel at static tasks, they struggle to capture dynamic interactions and temporal dependencies in video sequences. In this work, we propose Temporal Semantic Alignment via Dynamic Prompting (TSADP), a novel framework that enhances temporal reasoning capabilities through dynamic task-specific prompts and temporal contrastive learning. TSADP leverages a Dynamic Prompt Generator (DPG) to encode fine-grained temporal relationships and a Temporal Contrastive Loss (TCL) to align visual and textual embeddings across time. We evaluate our method on the VidSitu dataset, augmented with enriched temporal annotations, and demonstrate significant improvements over state-of-the-art models in tasks such as Intra-Video Entity Association, Temporal Relationship Understanding, and Chronology Prediction. Human evaluations further confirm TSADP's ability to generate coherent and semantically accurate descriptions. Our analysis highlights the robustness, efficiency, and practical utility of TSADP, making it a step forward in the field of video-language understanding.
• Abstract（参考訳）: 時間的推論は、時間にわたって意味論的概念を一貫して整合させるモデルを必要とするため、ビデオ言語理解において重要な課題である。 既存の大規模視覚言語モデル(LVLM)と大規模言語モデル(LLM)は静的タスクで優れているが、動的相互作用やビデオシーケンスの時間的依存を捉えるのに苦労している。 本研究では,動的タスク固有のプロンプトと時間的コントラスト学習を通じて時間的推論能力を高める新しいフレームワークである動的プロンプトを用いた時間的セマンティックアライメント(TSADP)を提案する。 TSADPは動的プロンプトジェネレータ(DPG)を利用して微細な時間的関係を符号化し、TCL(Temporal Contrastive Loss)を用いて視覚的およびテキスト的埋め込みを時間にわたって整列させる。 本研究では,映像内エンティティアソシエーション,時間的関係理解,時間的予測といったタスクにおいて,高度な時間的アノテーションを付加したVidSituデータセット上での手法の評価を行い,最先端モデルに対する大幅な改善を示す。 人間の評価は、TSADPが一貫性と意味論的に正確な記述を生成する能力をさらに確認する。 我々の分析は、TSADPの堅牢性、効率性、実用性を強調し、ビデオ言語理解の分野における一歩を踏み出した。

関連論文リスト

• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• VITATECS: A Diagnostic Dataset for Temporal Concept Understanding of Video-Language Models [27.280311932711847]
  VITATECS, 診断用VIdeo-Text dAtasetについて述べる。 まず、異なる時間的側面を理解するためのVidLMの能力を診断するために、自然言語における時間的概念のきめ細かい分類法を導入する。 特定の時間的側面においてのみ、オリジナルと異なる反実的な映像記述を生成する。
  論文  参考訳（メタデータ） (2023-11-29T07:15:34Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training [49.52679453475878]
  本稿では,モーメントとテキスト間の相互アライメントをモデル化するための時間対応ビデオ言語事前学習フレームワークHiTeAを提案する。 15の精確なビデオ言語理解と生成タスクに関する最先端の成果を得た。
  論文  参考訳（メタデータ） (2022-12-30T04:27:01Z)
• TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning [79.77010271213695]
  本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
  論文  参考訳（メタデータ） (2021-12-07T09:27:56Z)
• SSAN: Separable Self-Attention Network for Video Representation Learning [11.542048296046524]
  本稿では,空間的および時間的相関を逐次モデル化する分離型自己アテンションモジュールを提案する。 2次元CNNにSSAモジュールを追加することで、ビデオ表現学習のためのSSAネットワーク(SSAN)を構築する。 提案手法は,Something と Kinetics-400 データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2021-05-27T10:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。