論文の概要: Source-free Domain Adaptation Requires Penalized Diversity

• arxiv url: http://arxiv.org/abs/2304.02798v2
• Date: Wed, 12 Apr 2023 15:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 17:20:46.013531
• Title: Source-free Domain Adaptation Requires Penalized Diversity
• Title（参考訳）: ペナライズド・ダイバーシティを必要とするソースフリードメイン適応
• Authors: Laya Rafiee Sevyeri, Ivaxi Sheth, Farhood Farahnak, Alexandre See, Samira Ebrahimi Kahou, Thomas Fevens, Mohammad Havaei
• Abstract要約: ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 60.04618512479438
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While neural networks are capable of achieving human-like performance in many tasks such as image classification, the impressive performance of each model is limited to its own dataset. Source-free domain adaptation (SFDA) was introduced to address knowledge transfer between different domains in the absence of source data, thus, increasing data privacy. Diversity in representation space can be vital to a model`s adaptability in varied and difficult domains. In unsupervised SFDA, the diversity is limited to learning a single hypothesis on the source or learning multiple hypotheses with a shared feature extractor. Motivated by the improved predictive performance of ensembles, we propose a novel unsupervised SFDA algorithm that promotes representational diversity through the use of separate feature extractors with Distinct Backbone Architectures (DBA). Although diversity in feature space is increased, the unconstrained mutual information (MI) maximization may potentially introduce amplification of weak hypotheses. Thus we introduce the Weak Hypothesis Penalization (WHP) regularizer as a mitigation strategy. Our work proposes Penalized Diversity (PD) where the synergy of DBA and WHP is applied to unsupervised source-free domain adaptation for covariate shift. In addition, PD is augmented with a weighted MI maximization objective for label distribution shift. Empirical results on natural, synthetic, and medical domains demonstrate the effectiveness of PD under different distributional shifts.
• Abstract（参考訳）: ニューラルネットワークは、画像分類などの多くのタスクで人間のようなパフォーマンスを達成することができるが、各モデルの印象的なパフォーマンスは、独自のデータセットに限られている。 ソースフリードメイン適応(SFDA)は、ソースデータがない場合に異なるドメイン間の知識伝達に対処するために導入された。 表現空間の多様性は、様々な困難な領域におけるモデルの適応性にとって不可欠である。 教師なしsfdaでは、多様性はソース上で1つの仮説を学ぶか、共有特徴抽出器で複数の仮説を学ぶことに限られる。 本研究では,異なる特徴抽出器をDBA(Distinct Backbone Architectures)と組み合わせることで,表現の多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。 特徴空間の多様性は増大するが、制約のない相互情報(MI)の最大化は弱い仮説の増幅をもたらす可能性がある。 したがって,弱仮説ペナリゼーション(whp)正則化を緩和戦略として導入する。 本研究は, DBAとWHPの相乗効果を非教師なし領域適応に適用し, 共変量シフトに適用するPinalized Diversity (PD)を提案する。 さらに、ラベル分布シフトのためのMI最大化目標を重み付けしてPDを増強する。 自然, 合成, 医療領域における実験結果から, 分散シフトの違いによるPDの有効性が示された。

関連論文リスト

• Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
  Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。 SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。 利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:49:29Z)
• Unified Source-Free Domain Adaptation [44.95240684589647]
  ソーストレーニングデータにアクセスせずにソースモデルをターゲットドメインに転送する目的で、Source-Free Domain Adaptation (SFDA)が広く研究されている。 我々はLCFD(Latent Causal Factors Discovery)と呼ばれる新しい手法を提案する。 現実の統計的記述の学習を強調する従来の代替手段とは対照的に、因果性の観点からLCFDを定式化する。
  論文  参考訳（メタデータ） (2024-03-12T12:40:08Z)
• Subject-Based Domain Adaptation for Facial Expression Recognition [51.10374151948157]
  ディープラーニングモデルを特定の対象個人に適用することは、難しい表情認識タスクである。 本稿では、FERにおける主観的ドメイン適応のための新しいMSDA手法を提案する。 複数の情報源からの情報を効率的に利用して、ディープFERモデルを単一のターゲット個人に適応させる。
  論文  参考訳（メタデータ） (2023-12-09T18:40:37Z)
• On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization [14.233038052654484]
  ディープラーニングモデルは、アウト・オブ・ディストリビューション(OOD)データに一般化されたときに壊滅的に失敗する、急激な機能に依存している。 最近の研究によると、不変リスク最小化(IRM)は特定の種類の分散シフトに対してのみ有効であり、他のケースでは失敗する。 ドメイン固有摂動による分布変化を緩和するATインスパイアされた手法であるドメインワイズ・アドバイザリアル・トレーニング(DAT)を提案する。
  論文  参考訳（メタデータ） (2022-12-18T13:13:44Z)
• Identifiable Latent Causal Content for Domain Adaptation under Latent Covariate Shift [82.14087963690561]
  マルチソースドメイン適応(MSDA)は、ラベル付き対象ドメインのラベル予測関数を学習する際の課題に対処する。 本稿では,潜在コンテンツ変数と潜時スタイル変数とともに,ドメイン間の潜時雑音を導入し,複雑な因果生成モデルを提案する。 提案手法は、シミュレーションと実世界の両方のデータセットに対して、例外的な性能と有効性を示す。
  論文  参考訳（メタデータ） (2022-08-30T11:25:15Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。 以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。 低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-26T08:53:16Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。