論文の概要: Prominent Roles of Conditionally Invariant Components in Domain
Adaptation: Theory and Algorithms
- arxiv url: http://arxiv.org/abs/2309.10301v1
- Date: Tue, 19 Sep 2023 04:04:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 16:25:49.537625
- Title: Prominent Roles of Conditionally Invariant Components in Domain
Adaptation: Theory and Algorithms
- Title（参考訳）: ドメイン適応における条件付き不変成分の役割--理論とアルゴリズム
- Authors: Keru Wu, Yuansi Chen, Wooseok Ha, Bin Yu
- Abstract要約: ドメイン適応(DA)は、モデルを訓練するために使用されるソースデータの分布が、モデルを評価するために使用されるターゲットデータと異なるときに発生する統計的学習問題である。
我々は、条件不変成分(CIC)が予測に関係していることを示し、条件不変成分をソースデータとターゲットデータ間で保持することを示す。
我々は,CICに基づく新しいアルゴリズム,重要度重み付き条件不変ペナルティ(IW-CIP)を提案する。
- 参考スコア（独自算出の注目度）: 11.961450326677667
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Domain adaptation (DA) is a statistical learning problem that arises when the
distribution of the source data used to train a model differs from that of the
target data used to evaluate the model. While many DA algorithms have
demonstrated considerable empirical success, blindly applying these algorithms
can often lead to worse performance on new datasets. To address this, it is
crucial to clarify the assumptions under which a DA algorithm has good target
performance. In this work, we focus on the assumption of the presence of
conditionally invariant components (CICs), which are relevant for prediction
and remain conditionally invariant across the source and target data. We
demonstrate that CICs, which can be estimated through conditional invariant
penalty (CIP), play three prominent roles in providing target risk guarantees
in DA. First, we propose a new algorithm based on CICs, importance-weighted
conditional invariant penalty (IW-CIP), which has target risk guarantees beyond
simple settings such as covariate shift and label shift. Second, we show that
CICs help identify large discrepancies between source and target risks of other
DA algorithms. Finally, we demonstrate that incorporating CICs into the domain
invariant projection (DIP) algorithm can address its failure scenario caused by
label-flipping features. We support our new algorithms and theoretical findings
via numerical experiments on synthetic data, MNIST, CelebA, and Camelyon17
datasets.
- Abstract（参考訳）: ドメイン適応 (da) は、モデルを訓練するために使用されるソースデータの分布が、モデルを評価するために使用されるターゲットデータと異なる場合に生じる統計的学習問題である。
多くのDAアルゴリズムは経験的な成功を示しているが、これらのアルゴリズムを盲目的に適用することは、しばしば新しいデータセットのパフォーマンスを悪化させる。
これを解決するためには,DAアルゴリズムが目標性能に優れた仮定を明らかにすることが重要である。
本研究では, 予測に関係し, ソースデータとターゲットデータの間で条件付き不変な条件付き不変成分(cics)の存在を仮定する。
我々は,条件不変ペナルティ(CIP)によって推定できるCICが,DAの目標リスク保証に3つの重要な役割を果たすことを示した。
まず,共変量シフトやラベルシフトといった単純な設定以上のリスクを目標とする,重要度重み付き条件付き不変ペナルティ(iw-cip)に基づく新しいアルゴリズムを提案する。
第2に、CICは、他のDAアルゴリズムのソースとターゲットのリスクの大規模な相違を識別するのに役立つことを示す。
最後に、CICをドメイン不変射影(DIP)アルゴリズムに組み込むことで、ラベルフリップ機能による障害シナリオに対処できることを実証する。
我々は、合成データ、MNIST、CelebA、Camelyon17データセットに関する数値実験を通じて、新しいアルゴリズムと理論的発見をサポートする。
関連論文リスト
- Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳（メタデータ） (2023-07-30T11:38:46Z) - CAusal and collaborative proxy-tasKs lEarning for Semi-Supervised Domain
Adaptation [20.589323508870592]
半教師付きドメイン適応(SSDA)は、ソースドメインデータとラベル付きターゲットサンプルを効果的に活用することにより、学習者を新しいドメインに適応させる。
提案手法は,SSDAデータセットの有効性と汎用性の観点から,SOTA法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-30T16:48:28Z) - IT-RUDA: Information Theory Assisted Robust Unsupervised Domain
Adaptation [7.225445443960775]
トレイン(ソース)とテスト(ターゲット)データセット間の分散シフトは、マシンラーニングアプリケーションで発生する一般的な問題である。
UDA技術はラベル豊富なソースドメインからラベルのないターゲットドメインへの知識伝達を行う。
ソースまたはターゲットデータセットのいずれかに存在するアウトリーチは、実際にUDAを使用する場合、さらなる課題をもたらす可能性がある。
論文 参考訳（メタデータ） (2022-10-24T04:33:52Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-24T16:29:43Z) - Boosting the Generalization Capability in Cross-Domain Few-shot Learning
via Noise-enhanced Supervised Autoencoder [23.860842627883187]
我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。
NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。
また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
論文 参考訳（メタデータ） (2021-08-11T04:45:56Z) - Dynamic Domain Adaptation for Efficient Inference [12.713628738434881]
ドメイン適応(DA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識転送を可能にする。
以前のdaアプローチのほとんどは、適応能力を改善するために複雑で強力なディープニューラルネットワークを活用する。
低リソースシナリオにおいて効率的なターゲット推論を同時に実現できる動的ドメイン適応(DDA)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-26T08:53:16Z) - Unsupervised and self-adaptative techniques for cross-domain person
re-identification [82.54691433502335]
非重複カメラにおける人物再識別(ReID)は難しい課題である。
Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。
本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
論文 参考訳（メタデータ） (2021-03-21T23:58:39Z) - Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain
Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。
本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。
提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
論文 参考訳（メタデータ） (2020-12-08T08:52:00Z) - Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。
具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。
本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
論文 参考訳（メタデータ） (2020-10-23T06:29:09Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Unsupervised Domain Adaptation via Structurally Regularized Deep
Clustering [35.008158504090176]
教師なし領域適応(Unsupervised domain adapt, UDA)とは、対象ドメイン上のラベルなしデータの予測であり、対象ドメインから分布がシフトするソースドメイン上のラベル付きデータである。
対象データの識別クラスタリングにより,本質的な対象識別を直接発見することを提案する。
我々は,提案手法をSRDC (Structurely Regularized Deep Clustering) と呼ぶ。
論文 参考訳（メタデータ） (2020-03-19T07:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。