論文の概要: V$^2$Dial: Unification of Video and Visual Dialog via Multimodal Experts

• arxiv url: http://arxiv.org/abs/2503.02063v2
• Date: Fri, 14 Mar 2025 12:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:03:51.032127
• Title: V$^2$Dial: Unification of Video and Visual Dialog via Multimodal Experts
• Title（参考訳）: V$^2$Dial:マルチモーダルエキスパートによるビデオとビジュアルダイアログの統合
• Authors: Adnen Abdessaied, Anna Rohrbach, Marcus Rohrbach, Andreas Bulling,
• Abstract要約: V$2$Dialは、マルチモーダルな会話タスクのための画像とビデオの入力データを同時に扱うための、エキスパートベースの新しいモデルである。 本稿では,画像とビデオの空間的特徴と時間的特徴を共同で学習する単一モデルを用いて,両方のタスクを統合することを提案する。
• 参考スコア（独自算出の注目度）: 44.33388344586592
• License:
• Abstract: We present V$^2$Dial - a novel expert-based model specifically geared towards simultaneously handling image and video input data for multimodal conversational tasks. Current multimodal models primarily focus on simpler tasks (e.g., VQA, VideoQA, video-text retrieval) and often neglect the more challenging conversational counterparts, such as video and visual/image dialog. Moreover, works on both conversational tasks evolved separately from each other despite their apparent similarities limiting their applicability potential. To this end, we propose to unify both tasks using a single model that for the first time jointly learns the spatial and temporal features of images and videos by routing them through dedicated experts and aligns them using matching and contrastive learning techniques. Furthermore, we systemically study the domain shift between the two tasks by investigating whether and to what extent these seemingly related tasks can mutually benefit from their respective training data. Extensive evaluations on the widely used video and visual dialog datasets of AVSD and VisDial show that our model achieves new state-of-the-art results across four benchmarks both in zero-shot and fine-tuning settings.
• Abstract（参考訳）: V$^2$Dial - マルチモーダル対話タスクのための画像とビデオの入力データを同時に処理することを目的とした,エキスパートベースの新しいモデルを提案する。 現在のマルチモーダルモデルは、主に単純なタスク(例えば、VQA、ビデオQA、ビデオテキスト検索)に焦点を当てており、ビデオやビジュアル/イメージダイアログのようなより困難な会話の相手を無視していることが多い。 さらに,その類似性は適用可能性を制限するものの,双方の会話タスクの作業は別々に進化した。 そこで本研究では,画像とビデオの空間的特徴と時間的特徴を協調的に学習する単一モデルを用いて両タスクを統一することを提案する。 さらに,2つのタスク間のドメインシフトを,これらのタスクがそれぞれのトレーニングデータから相互にメリットを享受できるかどうかを調査することによって,体系的に検討する。 AVSD と VisDial の広範に使われているビデオ・ビジュアル・ダイアログ・データセットに対する広範囲な評価は、我々のモデルがゼロショットと微調整の両方で4つのベンチマークで新しい最先端の結果を達成していることを示している。

関連論文リスト

• UniRS: Unifying Multi-temporal Remote Sensing Tasks through Vision Language Models [23.044366104080822]
  textbfUniRSは視覚言語モデルとして最初のbftextremote bftextsensingタスクである。 UniRSはシングルイメージ、デュアルタイムイメージペア、ビデオを入力としてサポートし、総合的なリモートセンシング時間分析を可能にする。 実験の結果、UniRSは様々なタスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2024-12-30T06:34:18Z)
• Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network [57.72095897427665]
  時間文グラウンドディング(TSG)は、ビデオ中のクエリ関連セグメントを見つけることを目的としている。 従来のメソッドは、異なるペアを一緒にトレーニングできないシングルスレッドフレームワークに従っていた。 我々はこれらのペアを協調訓練することを目的としたMulti-Pair TSGを提案する。
  論文  参考訳（メタデータ） (2024-12-20T08:50:11Z)
• UniAV: Unified Audio-Visual Perception for Multi-Task Video Event Localization [83.89550658314741]
  ビデオローカライゼーションタスクは、時間的アクションローカライゼーション(TAL)、サウンドイベント検出(SED)、オーディオ視覚イベントローカライゼーション(AVEL)など、ビデオ内の特定のインスタンスを時間的に特定することを目的としている。 本報告では, tal, SED, AVELタスクの協調学習を初めて行うために, 統合音声認識ネットワークUniAVを提案する。
  論文  参考訳（メタデータ） (2024-04-04T03:28:57Z)
• MINOTAUR: Multi-task Video Grounding From Multimodal Queries [70.08973664126873]
  長文ビデオにおける問合せに基づくビデオ理解に一貫した単一のモデルを提案する。 特に、我々のモデルは、Ego4D Episodic Memoryベンチマークの3つのタスクすべてに対処できる。
  論文  参考訳（メタデータ） (2023-02-16T04:00:03Z)
• Look Before you Speak: Visually Contextualized Utterances [88.58909442073858]
  ビデオ中の発話を視覚的フレームと書き起こされた音声の両方を文脈として予測するタスクを作成する。 オンラインで多数の指導ビデオを活用することで、手動のアノテーションを必要とせずに、このタスクを大規模に解決するためのモデルを訓練する。 本モデルは,多数のダウンストリームビデオQAベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-12-10T14:47:02Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。