論文の概要: Source-free Domain Adaptation Requires Penalized Diversity
- arxiv url: http://arxiv.org/abs/2304.02798v2
- Date: Wed, 12 Apr 2023 15:50:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 17:20:46.013531
- Title: Source-free Domain Adaptation Requires Penalized Diversity
- Title(参考訳): ペナライズド・ダイバーシティを必要とするソースフリードメイン適応
- Authors: Laya Rafiee Sevyeri, Ivaxi Sheth, Farhood Farahnak, Alexandre See,
Samira Ebrahimi Kahou, Thomas Fevens, Mohammad Havaei
- Abstract要約: ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。
教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。
本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 60.04618512479438
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While neural networks are capable of achieving human-like performance in many
tasks such as image classification, the impressive performance of each model is
limited to its own dataset. Source-free domain adaptation (SFDA) was introduced
to address knowledge transfer between different domains in the absence of
source data, thus, increasing data privacy. Diversity in representation space
can be vital to a model`s adaptability in varied and difficult domains. In
unsupervised SFDA, the diversity is limited to learning a single hypothesis on
the source or learning multiple hypotheses with a shared feature extractor.
Motivated by the improved predictive performance of ensembles, we propose a
novel unsupervised SFDA algorithm that promotes representational diversity
through the use of separate feature extractors with Distinct Backbone
Architectures (DBA). Although diversity in feature space is increased, the
unconstrained mutual information (MI) maximization may potentially introduce
amplification of weak hypotheses. Thus we introduce the Weak Hypothesis
Penalization (WHP) regularizer as a mitigation strategy. Our work proposes
Penalized Diversity (PD) where the synergy of DBA and WHP is applied to
unsupervised source-free domain adaptation for covariate shift. In addition, PD
is augmented with a weighted MI maximization objective for label distribution
shift. Empirical results on natural, synthetic, and medical domains demonstrate
the effectiveness of PD under different distributional shifts.
- Abstract(参考訳): ニューラルネットワークは、画像分類などの多くのタスクで人間のようなパフォーマンスを達成することができるが、各モデルの印象的なパフォーマンスは、独自のデータセットに限られている。
ソースフリードメイン適応(SFDA)は、ソースデータがない場合に異なるドメイン間の知識伝達に対処するために導入された。
表現空間の多様性は、様々な困難な領域におけるモデルの適応性にとって不可欠である。
教師なしsfdaでは、多様性はソース上で1つの仮説を学ぶか、共有特徴抽出器で複数の仮説を学ぶことに限られる。
本研究では,異なる特徴抽出器をDBA(Distinct Backbone Architectures)と組み合わせることで,表現の多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
特徴空間の多様性は増大するが、制約のない相互情報(MI)の最大化は弱い仮説の増幅をもたらす可能性がある。
したがって,弱仮説ペナリゼーション(whp)正則化を緩和戦略として導入する。
本研究は, DBAとWHPの相乗効果を非教師なし領域適応に適用し, 共変量シフトに適用するPinalized Diversity (PD)を提案する。
さらに、ラベル分布シフトのためのMI最大化目標を重み付けしてPDを増強する。
自然, 合成, 医療領域における実験結果から, 分散シフトの違いによるPDの有効性が示された。
関連論文リスト
- Unified Source-Free Domain Adaptation [44.95240684589647]
ソーストレーニングデータにアクセスせずにソースモデルをターゲットドメインに転送する目的で、Source-Free Domain Adaptation (SFDA)が広く研究されている。
我々はLCFD(Latent Causal Factors Discovery)と呼ばれる新しい手法を提案する。
現実の統計的記述の学習を強調する従来の代替手段とは対照的に、因果性の観点からLCFDを定式化する。
論文 参考訳(メタデータ) (2024-03-12T12:40:08Z) - Subject-Based Domain Adaptation for Facial Expression Recognition [49.87577140337738]
ディープ・ラーニング(DL)モデルを特定の対象個人に適用することは、表情認識(FER)における課題である。
FERにおける主観的ドメイン適応のための新しいMSDA手法を提案する。
複数の情報源からの情報を効率的に利用して、ディープFERモデルを単一のターゲット個人に適応させる。
論文 参考訳(メタデータ) (2023-12-09T18:40:37Z) - On the Connection between Invariant Learning and Adversarial Training
for Out-of-Distribution Generalization [14.233038052654484]
ディープラーニングモデルは、アウト・オブ・ディストリビューション(OOD)データに一般化されたときに壊滅的に失敗する、急激な機能に依存している。
最近の研究によると、不変リスク最小化(IRM)は特定の種類の分散シフトに対してのみ有効であり、他のケースでは失敗する。
ドメイン固有摂動による分布変化を緩和するATインスパイアされた手法であるドメインワイズ・アドバイザリアル・トレーニング(DAT)を提案する。
論文 参考訳(メタデータ) (2022-12-18T13:13:44Z) - Balancing Discriminability and Transferability for Source-Free Domain
Adaptation [55.143687986324935]
従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。
ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。
そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
論文 参考訳(メタデータ) (2022-06-16T09:06:22Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳(メタデータ) (2022-02-10T06:23:56Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - CADA: Multi-scale Collaborative Adversarial Domain Adaptation for
Unsupervised Optic Disc and Cup Segmentation [3.587294308501889]
CADA(Collaborative Adrial Domain Adaptation)と呼ばれる新しい教師なしドメイン適応フレームワークを提案する。
提案するCADAは,異なるネットワーク層における対角学習とアンサンブル重みの両面から,対話的な協調的適応を示すパラダイムである。
マルチスケールな入力学習を取り入れたCADAモデルは、性能劣化を克服し、最先端のドメイン適応手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-10-05T23:44:26Z) - Learning Invariant Representation with Consistency and Diversity for
Semi-supervised Source Hypothesis Transfer [46.68586555288172]
本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。
本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。
実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
論文 参考訳(メタデータ) (2021-07-07T04:14:24Z) - Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。
以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。
低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-26T08:53:16Z) - Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。
本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
論文 参考訳(メタデータ) (2020-08-27T00:53:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。