論文の概要: Multimodal Unsupervised Domain Generalization by Retrieving Across the Modality Gap

• arxiv url: http://arxiv.org/abs/2402.04416v2
• Date: Wed, 29 May 2024 13:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 23:31:04.309702
• Title: Multimodal Unsupervised Domain Generalization by Retrieving Across the Modality Gap
• Title（参考訳）: モダリティギャップ全体での検索によるマルチモーダル非教師付きドメイン一般化
• Authors: Christopher Liao, Christian So, Theodoros Tsiligkaridis, Brian Kulis,
• Abstract要約: 教師なし領域一般化問題のマルチモーダル版に取り組む。 我々のフレームワークは、ソースデータセットを共同視覚言語空間で正確かつ効率的に検索できるという前提に依存している。 我々は,テキストクエリと粗い量子化に使用される画像セントロイドとの距離が大きいため,近接した近接探索が低リコールに悩まされていることを理論的に示す。
• 参考スコア（独自算出の注目度）: 11.96884248631201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization (DG) is an important problem that learns a model which generalizes to unseen test domains leveraging one or more source domains, under the assumption of shared label spaces. However, most DG methods assume access to abundant source data in the target label space, a requirement that proves overly stringent for numerous real-world applications, where acquiring the same label space as the target task is prohibitively expensive. For this setting, we tackle the multimodal version of the unsupervised domain generalization (MUDG) problem, which uses a large task-agnostic unlabeled source dataset during finetuning. Our framework does not explicitly assume any relationship between the source dataset and target task. Instead, it relies only on the premise that the source dataset can be accurately and efficiently searched in a joint vision-language space. We make three contributions in the MUDG setting. Firstly, we show theoretically that cross-modal approximate nearest neighbor search suffers from low recall due to the large distance between text queries and the image centroids used for coarse quantization. Accordingly, we propose paired k-means, a simple clustering algorithm that improves nearest neighbor recall by storing centroids in query space instead of image space. Secondly, we propose an adaptive text augmentation scheme for target labels designed to improve zero-shot accuracy and diversify retrieved image data. Lastly, we present two simple but effective components to further improve downstream target accuracy. We compare against state-of-the-art name-only transfer, source-free DG and zero-shot (ZS) methods on their respective benchmarks and show consistent improvement in accuracy on 20 diverse datasets. Code is available: https://github.com/Chris210634/mudg
• Abstract（参考訳）: ドメイン一般化 (Domain Generalization, DG) は、共有ラベル空間の仮定の下で、1つ以上のソースドメインを利用するテストドメインを見えないように一般化するモデルを学習する重要な問題である。 しかし、ほとんどのDG手法は、ターゲットのラベル空間における豊富なソースデータへのアクセスを前提としている。 この設定では、微調整中にタスク非依存の未ラベルソースデータセットを使用する、unsupervised domain generalization (MUDG) のマルチモーダルバージョンに取り組む。 私たちのフレームワークは、ソースデータセットとターゲットタスクの関係を明示的に想定していません。 代わりに、ソースデータセットを、共同ビジョン言語空間で正確かつ効率的に検索できるという前提にのみ依存する。 MUDG設定で3つのコントリビューションを行います。 まず,テキストクエリと粗い量子化に使用される画像セントロイドとの間の距離が大きいため,近接した近接探索が低リコールに悩まされることを理論的に示す。 そこで我々は,画像空間の代わりにクエリ空間にセントロイドを格納することで,近傍のリコールを改善する単純なクラスタリングアルゴリズムであるペアk-meansを提案する。 第2に、ゼロショット精度を改善し、検索した画像データを多様化するために、ターゲットラベルに対する適応的なテキスト拡張方式を提案する。 最後に、下流目標精度をさらに向上させるため、2つの単純だが効果的なコンポーネントを提示する。 我々は、それぞれのベンチマークで、最先端の名前のみの転送、ソースフリーDG、ゼロショット(ZS)の手法と比較し、20種類のデータセットで一貫した精度の向上を示す。 コードは:https://github.com/Chris210634/mudg

関連論文リスト

• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• Domain Adaptive Person Search [20.442648584402917]
  本稿では,ラベル付きソースドメインからラベル付きターゲットドメインへのモデルを一般化することを目的とした,DAPS(Domain Adaptive Person Search)を提案する。 我々は,我々のフレームワークがmAPで34.7%,PRWデータセットでトップ1で80.6%を達成したことを示す。
  論文  参考訳（メタデータ） (2022-07-25T04:02:39Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Improving Multi-Domain Generalization through Domain Re-labeling [31.636953426159224]
  本稿では,事前特定ドメインラベルと一般化性能の関連性について検討する。 マルチドメイン一般化のための一般的なアプローチであるMulDEnsを導入し,ERMをベースとした深層アンサンブルバックボーンを用いた。 我々は、MulDEnsがデータセット固有の拡張戦略やトレーニングプロセスの調整を必要としないことを示す。
  論文  参考訳（メタデータ） (2021-12-17T23:21:50Z)
• Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation [91.30558794056056]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)が近年注目を集めている。 我々は,発見,幻覚,適応の3つの主要な設計原則に基づく新しいフレームワークを提案する。 我々は、標準ベンチマークGTAからC自動運転へのソリューションの評価を行い、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-10-08T13:20:09Z)
• Seeking Similarities over Differences: Similarity-based Domain Alignment for Adaptive Object Detection [86.98573522894961]
  本研究では,Unsupervised Domain Adaptation (UDA) アルゴリズムが検出に使用するコンポーネントを一般化するフレームワークを提案する。 具体的には、最適な設計選択を生かした新しいUDAアルゴリズムViSGAを提案し、インスタンスレベルの特徴を集約する単純だが効果的な方法を提案する。 類似性に基づくグループ化と対角トレーニングの両方により、モデルでは、ゆるやかに整列されたドメインにまたがるすべてのインスタンスにマッチせざるを得ず、機能グループを粗い整列することに集中することが可能であることが示されています。
  論文  参考訳（メタデータ） (2021-10-04T13:09:56Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Divergence Optimization for Noisy Universal Domain Adaptation [32.05829135903389]
  ユニバーサルドメイン適応(UniDA)は、ラベルリッチソースドメインから学んだ知識をラベルスカースターゲットドメインに転送するために提案されている。 本稿では,すべての問題を同時に解決する2ヘッド畳み込みニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T04:16:04Z)
• Learning Target Domain Specific Classifier for Partial Domain Adaptation [85.71584004185031]
  非教師付きドメイン適応(UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送する際の分散不一致を低減することを目的としている。 本稿では,ターゲットラベル空間をソースラベル空間に仮定する,より現実的なUDAシナリオに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-25T02:28:24Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Sparsely-Labeled Source Assisted Domain Adaptation [64.75698236688729]
  本稿では,Sparsely-Labeled Source Assisted Domain Adaptation (SLSA-DA)アルゴリズムを提案する。 ラベル不足の問題により、ソースドメインとターゲットドメインの両方で投影されたクラスタリングが行われる。
  論文  参考訳（メタデータ） (2020-05-08T15:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。