論文の概要: Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2010.04647v3
• Date: Sun, 4 Apr 2021 18:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:02:05.967798
• Title: Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation
• Title（参考訳）: 半教師付きドメイン適応における不変表現の学習とリスク
• Authors: Bo Li and Yezhen Wang, Shanghang Zhang, Dongsheng Li, Trevor Darrell, Kurt Keutzer, Han Zhao
• Abstract要約: 半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 109.73983088432364
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The success of supervised learning hinges on the assumption that the training and test data come from the same underlying distribution, which is often not valid in practice due to potential distribution shift. In light of this, most existing methods for unsupervised domain adaptation focus on achieving domain-invariant representations and small source domain error. However, recent works have shown that this is not sufficient to guarantee good generalization on the target domain, and in fact, is provably detrimental under label distribution shift. Furthermore, in many real-world applications it is often feasible to obtain a small amount of labeled data from the target domain and use them to facilitate model training with source data. Inspired by the above observations, in this paper we propose the first method that aims to simultaneously learn invariant representations and risks under the setting of semi-supervised domain adaptation (Semi-DA). First, we provide a finite sample bound for both classification and regression problems under Semi-DA. The bound suggests a principled way to obtain target generalization, i.e. by aligning both the marginal and conditional distributions across domains in feature space. Motivated by this, we then introduce the LIRR algorithm for jointly \textbf{L}earning \textbf{I}nvariant \textbf{R}epresentations and \textbf{R}isks. Finally, extensive experiments are conducted on both classification and regression tasks, which demonstrates LIRR consistently achieves state-of-the-art performance and significant improvements compared with the methods that only learn invariant representations or invariant risks.
• Abstract（参考訳）: 教師付き学習の成功は、トレーニングデータとテストデータが同じ基礎となる分布から来ているという仮定に基づいており、実際には潜在的分布シフトのために有効ではないことが多い。 これを踏まえて、教師なしドメイン適応のための既存のほとんどのメソッドは、ドメイン不変表現と小さなソースドメインエラーを達成することに焦点を当てている。 しかし、近年の研究では、これは対象領域の良質な一般化を保証するには不十分であり、実際、ラベル分布シフト下では確実に有害であることが示されている。 さらに、現実世界の多くのアプリケーションでは、ターゲットドメインから少量のラベル付きデータを取得し、ソースデータによるモデルトレーニングを容易にすることが可能である。 本稿では,半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 まず,半da下での分類問題と回帰問題の両方に対して有限個のサンプル境界を与える。 境界は、対象の一般化を得るための原理的な方法、すなわち特徴空間内の領域をまたいだ限界分布と条件分布を整合させることを示唆する。 これに触発されたLIRRアルゴリズムは、連立的に \textbf{L}earning \textbf{I}nvariant \textbf{R}epresentations および \textbf{R}isks に対して導入される。 最後に、分類タスクと回帰タスクの両方で広範な実験が行われ、LIRRは不変表現や不変リスクのみを学習する手法と比較して、最先端のパフォーマンスと大幅な改善を一貫して達成していることを示す。

関連論文リスト

• Domain Adaptation via Rebalanced Sub-domain Alignment [22.68115322836635]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインから関連するラベル付きターゲットドメインへ知識を転送する手法である。 過去に多くのUDA手法が成功したが、ソースとターゲットドメインは同一のクラスラベルの分布を持つ必要があると仮定することが多い。 本稿では、ソースとターゲットサブドメインを整列させて、ソース分類誤差を重み付けする新しい一般化法を提案する。
  論文  参考訳（メタデータ） (2023-02-03T21:30:40Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
  ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。 本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。 Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
  論文  参考訳（メタデータ） (2022-10-09T03:41:02Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning [19.903568227077763]
  教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。 ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。 第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:47:32Z)
• Mapping conditional distributions for domain adaptation under generalized target shift [0.0]
  我々は、条件シフトとラベルシフト(GeTarS)の下でのソースとターゲットドメイン間の教師なしドメイン適応(UDA)の問題を考える。 最近のアプローチでは、ドメイン不変表現を学習するが、実際的な制限があり、実際には成り立たない強い仮定に依存している。 本稿では,既存の欠点を回避した,事前訓練された表現の整合化のための,新規で汎用的なアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-10-26T14:25:07Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Discriminative Feature Alignment: Improving Transferability of Unsupervised Domain Adaptation by Gaussian-guided Latent Alignment [27.671964294233756]
  本研究では,ラベル付きデータ領域から近似推論モデルを学習するための教師なし領域適応問題に着目した。 教師なしのドメイン適応の成功は、主にクロスドメイン機能アライメントに依存している。 本稿では,2つの領域の潜在特徴分布を事前分布の導出の下で整列するガウス誘導型潜時アライメント手法を提案する。 そのような間接的な方法では、2つの領域からのサンプル上の分布は共通の特徴空間、すなわち前の領域の空間上に構築される。
  論文  参考訳（メタデータ） (2020-06-23T05:33:54Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。