論文の概要: Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

• arxiv url: http://arxiv.org/abs/2209.11572v1
• Date: Fri, 23 Sep 2022 12:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 13:43:19.134982
• Title: Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval
• Title（参考訳）: ビデオモーメント検索のためのマルチモーダルクロスドメインアライメントネットワーク
• Authors: Xiang Fang, Daizong Liu, Pan Zhou, YuChong Hu
• Abstract要約: ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。 本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。 本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 55.122020263319634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an increasingly popular task in multimedia information retrieval, video moment retrieval (VMR) aims to localize the target moment from an untrimmed video according to a given language query. Most previous methods depend heavily on numerous manual annotations (i.e., moment boundaries), which are extremely expensive to acquire in practice. In addition, due to the domain gap between different datasets, directly applying these pre-trained models to an unseen domain leads to a significant performance drop. In this paper, we focus on a novel task: cross-domain VMR, where fully-annotated datasets are available in one domain (``source domain''), but the domain of interest (``target domain'') only contains unannotated datasets. As far as we know, we present the first study on cross-domain VMR. To address this new task, we propose a novel Multi-Modal Cross-Domain Alignment (MMCDA) network to transfer the annotation knowledge from the source domain to the target domain. However, due to the domain discrepancy between the source and target domains and the semantic gap between videos and queries, directly applying trained models to the target domain generally leads to a performance drop. To solve this problem, we develop three novel modules: (i) a domain alignment module is designed to align the feature distributions between different domains of each modality; (ii) a cross-modal alignment module aims to map both video and query features into a joint embedding space and to align the feature distributions between different modalities in the target domain; (iii) a specific alignment module tries to obtain the fine-grained similarity between a specific frame and the given query for optimal localization. By jointly training these three modules, our MMCDA can learn domain-invariant and semantic-aligned cross-modal representations.
• Abstract（参考訳）: マルチメディア情報検索におけるタスクとして,ビデオモーメント検索(VMR)は,与えられた言語クエリに従って,未編集のビデオから対象モーメントをローカライズすることを目的としている。 従来の手法のほとんどは、多くの手動アノテーション(つまりモーメント境界)に大きく依存しており、実際に取得するには非常に高価である。 さらに、異なるデータセット間のドメインギャップのため、これらの事前トレーニング済みモデルを未認識のドメインに直接適用すると、パフォーマンスが大幅に低下する。 本稿では,完全アノテーション付きデータセットが1つのドメイン(``source domain'')で利用可能だが,関心領域(``target domain'')にはアノテーション付きデータセットのみが含まれている,クロスドメインvmrという,新たなタスクに焦点を当てる。 私たちが知る限りでは、クロスドメインVMRに関する最初の研究を示す。 この課題に対処するために、アノテーションの知識をソースドメインからターゲットドメインに転送する新しいマルチモーダル・クロスドメイン・アライメント(MMCDA)ネットワークを提案する。 しかし、ソースとターゲットドメイン間のドメインの相違とビデオとクエリ間のセマンティックなギャップのため、トレーニングされたモデルをターゲットドメインに直接適用することは、一般的にパフォーマンス低下につながる。 この問題を解決するために,我々は3つの新しいモジュールを開発した。 i) ドメインアライメントモジュールは、各モダリティの異なるドメイン間で特徴分布を整列するように設計されている。 (ii) クロスモーダルアライメントモジュールは、ビデオとクエリの特徴を結合埋め込み空間にマッピングし、対象領域の異なるモダリティ間の特徴分布を調整することを目的としている。 (iii)特定のアライメントモジュールは、所定のフレームと与えられたクエリとのきめ細かい類似性を取得して最適なローカライゼーションを試みる。 これら3つのモジュールを共同でトレーニングすることで、MCCDAはドメイン不変かつセマンティックアラインなクロスモーダル表現を学習できる。

関連論文リスト

• ML-BPM: Multi-teacher Learning with Bidirectional Photometric Mixing for Open Compound Domain Adaptation in Semantic Segmentation [78.19743899703052]
  オープン化合物ドメイン適応(OCDA)は、ターゲットドメインを複数の未知の同質体の化合物とみなしている。 目的とするサブドメインに適応するために,双方向光度ミキシングを用いたマルチテキサフレームワークを提案する。 適応蒸留を行い、学生モデルを学習し、整合性正規化を適用して生徒の一般化を改善する。
  論文  参考訳（メタデータ） (2022-07-19T03:30:48Z)
• Domain Attention Consistency for Multi-Source Domain Adaptation [100.25573559447551]
  主な設計は、伝達可能な特徴(属性)を識別することを目的とした機能チャネルアテンションモジュールである。 3つのMSDAベンチマーク実験により、DAC-Netは、それらすべてに対して、新たなパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2021-11-06T15:56:53Z)
• VDM-DA: Virtual Domain Modeling for Source Data-free Domain Adaptation [26.959377850768423]
  ドメイン適応(domain adaptation)は、ラベルリッチドメイン(ソースドメイン)を活用して、ラベルキャリアドメイン(ターゲットドメイン)でのモデル学習を支援する。 ソースドメインのサンプルへのアクセスは、異なる問題のために、現実世界のアプリケーションで常に可能であるとは限らない。 VDM-DA(Virtual Domain Modeling)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T09:56:40Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。