論文の概要: Domain Adaptation in Multi-View Embedding for Cross-Modal Video Retrieval

• arxiv url: http://arxiv.org/abs/2110.12812v1
• Date: Mon, 25 Oct 2021 11:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 00:00:06.569209
• Title: Domain Adaptation in Multi-View Embedding for Cross-Modal Video Retrieval
• Title（参考訳）: クロスモーダルビデオ検索のためのマルチビュー埋め込みにおけるドメイン適応
• Authors: Jonathan Munro, Michael Wray, Diane Larlus, Gabriela Csurka, Dima Damen
• Abstract要約: カプセル化されていないビデオシーケンスのギャラリーを考慮に入れ, 未知のテキストクエリとの関連性に基づいて, ビデオ検索の課題を考察する。 アノテーションの欠如を補うため、私たちは、ソースギャラリーと呼ばれるビデオキャプチャーペアからなる関連ビデオギャラリーに頼る。 擬似ラベリング対象ビデオとクロスドメイン(すなわちソースターゲット)ランキングを用いた新しい反復的ドメインアライメント手法を提案する。
• 参考スコア（独自算出の注目度）: 40.39759491278582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a gallery of uncaptioned video sequences, this paper considers the task of retrieving videos based on their relevance to an unseen text query. To compensate for the lack of annotations, we rely instead on a related video gallery composed of video-caption pairs, termed the source gallery, albeit with a domain gap between its videos and those in the target gallery. We thus introduce the problem of Unsupervised Domain Adaptation for Cross-modal Video Retrieval, along with a new benchmark on fine-grained actions. We propose a novel iterative domain alignment method by means of pseudo-labelling target videos and cross-domain (i.e. source-target) ranking. Our approach adapts the embedding space to the target gallery, consistently outperforming source-only as well as marginal and conditional alignment methods.
• Abstract（参考訳）: 本論文は,未収録のビデオシーケンスのギャラリーを与えられた場合,未発見のテキストクエリとの関連性に基づいてビデオ検索を行う作業について検討する。 アノテーションの欠如を補うために、私たちは、ソースギャラリー(source Gallery)と呼ばれる、ビデオとターゲットギャラリーの間のドメインギャップがあるにもかかわらず、ビデオキャプチャペアで構成された関連ビデオギャラリーに頼る。 そこで我々は, クロスモーダルビデオ検索のための教師なしドメイン適応問題と, きめ細かい動作に関する新しいベンチマークを導入する。 擬似ラベリング対象ビデオとクロスドメイン(すなわちソースターゲット)ランキングを用いた新しい反復的ドメインアライメント手法を提案する。 提案手法は,組込み空間を目標ギャラリーに適応させ,ソースのみを一貫して上回り,限界アライメント法と条件アライメント法を併用する。

関連論文リスト

• Hybrid-Learning Video Moment Retrieval across Multi-Domain Labels [34.88705952395676]
  ビデオモーメント検索(VMR)とは、与えられたテキストクエリ記述(文)により、未編集の生ビデオ中の視覚的時間モーメントを検索することである。 本稿では,知識伝達による問題解決のために,ハイブリッド学習ビデオモーメント検索という新しい手法を提案する。 本研究の目的は,弱層対象領域におけるモデル学習を改善するために,両領域間の共通知識を探索することである。
  論文  参考訳（メタデータ） (2024-06-03T21:14:53Z)
• Generative Video Diffusion for Unseen Cross-Domain Video Moment Retrieval [58.17315970207874]
  ビデオモーメント検索(VMR)では、複雑な視覚言語関係を捉えるために、微細なモーメントテキスト関連を正確にモデル化する必要がある。 既存の手法は、クロスドメインアプリケーションのためのソースとターゲットのドメインビデオの両方のジョイントトレーニングを利用する。 対象の文によって制御されるソースビデオのきめ細かい編集のための生成的ビデオ拡散について検討する。
  論文  参考訳（メタデータ） (2024-01-24T09:45:40Z)
• Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding [59.599378814835205]
  時間的ビデオグラウンドリング(TVG)は、与えられた言語クエリに基づいて、特定のセグメントの時間的境界を未トリミングビデオにローカライズすることを目的としている。 そこで本研究では,対象データからの洞察を取り入れた新たなAMDA手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T07:49:27Z)
• CoDeF: Content Deformation Fields for Temporally Consistent Video Processing [89.49585127724941]
  CoDeFは、標準コンテンツフィールドと時間変形フィールドからなる新しいタイプのビデオ表現である。 実験により,CoDeFは,映像から映像への変換とキーポイント検出をキーポイントトラッキングに,トレーニングなしで持ち上げることができることを示した。
  論文  参考訳（メタデータ） (2023-08-15T17:59:56Z)
• VRAG: Region Attention Graphs for Content-Based Video Retrieval [85.54923500208041]
  Region Attention Graph Networks (VRAG) は最先端のビデオレベルの手法を改善している。 VRAGは、地域レベルの特徴を通して、より細かい粒度のビデオを表現し、地域レベルの関係を通して、ビデオ時間ダイナミクスをエンコードする。 本研究では,映像のセグメント化や映像検索にショット埋め込みを用いることで,映像レベルとフレームレベルの性能差を低減できることを示す。
  論文  参考訳（メタデータ） (2022-05-18T16:50:45Z)
• CycDA: Unsupervised Cycle Domain Adaptation from Image to Video [26.30914383638721]
  ドメイン・サイクル適応 (Domain Cycle Adaptation, CycDA) は、教師なし画像・ビデオ領域適応のためのサイクルベースのアプローチである。 我々は、画像からビデオまでのベンチマークデータセットと、混合ソース領域適応のためのベンチマークデータセットについて評価する。
  論文  参考訳（メタデータ） (2022-03-30T12:22:26Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。