論文の概要: Learning Transferable Parameters for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2108.06129v1
• Date: Fri, 13 Aug 2021 09:09:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:16:23.648384
• Title: Learning Transferable Parameters for Unsupervised Domain Adaptation
• Title（参考訳）: 教師なし領域適応のための学習伝達可能なパラメータ
• Authors: Zhongyi Han, Haoliang Sun, Yilong Yin
• Abstract要約: 非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。 本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
• 参考スコア（独自算出の注目度）: 29.962241958947306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) enables a learning machine to adapt from a labeled source domain to an unlabeled domain under the distribution shift. Thanks to the strong representation ability of deep neural networks, recent remarkable achievements in UDA resort to learning domain-invariant features. Intuitively, the hope is that a good feature representation, together with the hypothesis learned from the source domain, can generalize well to the target domain. However, the learning processes of domain-invariant features and source hypothesis inevitably involve domain-specific information that would degrade the generalizability of UDA models on the target domain. In this paper, motivated by the lottery ticket hypothesis that only partial parameters are essential for generalization, we find that only partial parameters are essential for learning domain-invariant information and generalizing well in UDA. Such parameters are termed transferable parameters. In contrast, the other parameters tend to fit domain-specific details and often fail to generalize, which we term as untransferable parameters. Driven by this insight, we propose Transferable Parameter Learning (TransPar) to reduce the side effect brought by domain-specific information in the learning process and thus enhance the memorization of domain-invariant information. Specifically, according to the distribution discrepancy degree, we divide all parameters into transferable and untransferable ones in each training iteration. We then perform separate updates rules for the two types of parameters. Extensive experiments on image classification and regression tasks (keypoint detection) show that TransPar outperforms prior arts by non-trivial margins. Moreover, experiments demonstrate that TransPar can be integrated into the most popular deep UDA networks and be easily extended to handle any data distribution shift scenarios.
• Abstract（参考訳）: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。 ディープニューラルネットワークの強力な表現能力のおかげで、UDAの最近の顕著な成果は、ドメイン不変の機能を学ぶことにある。 直感的には、優れた機能表現が、ソースドメインから学んだ仮説とともに、ターゲットドメインにうまく一般化できることを期待しています。 しかし、ドメイン不変特徴の学習プロセスとソース仮説は、必然的に、対象ドメイン上の UDA モデルの一般化性を低下させるドメイン固有情報を含む。 本稿では,部分的パラメータのみを一般化に必須とする抽選券仮説に動機づけられ,部分的パラメータのみがドメイン不変情報学習とudaでの一般化に不可欠であることを見出した。 このようなパラメータを転送可能なパラメータと呼ぶ。 対照的に、他のパラメータはドメイン固有の詳細に適合し、しばしば一般化に失敗する傾向がある。 そこで本研究では,ドメイン固有情報による学習過程における副作用を低減し,ドメイン不変情報の記憶力を高めるために,Transferable Parameter Learning(TransPar)を提案する。 具体的には、分布の不一致度に応じて、各トレーニングイテレーションにおいて、すべてのパラメータを転送可能および変換不能に分割する。 次に、2つのパラメータの別々の更新ルールを実行します。 画像分類と回帰タスク(キーポイント検出)に関する大規模な実験は、TransParが非自明なマージンで先行技術より優れていることを示している。 さらに実験では、TransParを最も人気のある深層UDAネットワークに統合し、データ分散シフトシナリオを簡単に扱えるように拡張できることが示されている。

関連論文リスト

• Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions [29.018103152856792]
  PosTerior Generalization (PTG)は、DomainBed上の様々な領域の一般化ベンチマークで競合性能を示す。 PTGは、トレーニング領域における不変後部と後部を含む、近似パラメータ分布に対する変分推論を完全に活用する。
  論文  参考訳（メタデータ） (2023-10-25T01:17:08Z)
• Learning to Learn Domain-invariant Parameters for Domain Generalization [29.821634033299855]
  ドメイン一般化(DG)は、ソースドメインからドメイン不変表現をキャプチャすることでこの問題を克服することを目的としている。 DDC(Domain Decoupling and Combination)とDIGB(Domain-invariance-guided Backpropagation)の2つのモジュールを提案する。 提案手法は,高い一般化能力を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-11-04T07:19:34Z)
• Domain-invariant Feature Exploration for Domain Generalization [35.99082628524934]
  ドメイン不変の機能は、内部と相互の双方から派生すべきである、と我々は主張する。 ドメイン不変な特徴展開のためのDIFEXを提案する。 時系列とビジュアルベンチマークの両方の実験は、提案したDIFEXが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-25T09:55:55Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Instrumental Variable-Driven Domain Generalization with Unobserved Confounders [53.735614014067394]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。 観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。 第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。 第2段階では,ラベルと学習条件分布の関係を推定する。
  論文  参考訳（メタデータ） (2021-10-04T13:32:57Z)
• Quantifying and Improving Transferability in Domain Generalization [53.16289325326505]
  アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。 我々は、領域一般化において量子化と計算が可能な転送可能性を正式に定義する。 転送可能な特徴を学習し、様々なベンチマークデータセット上でテストするための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T14:04:32Z)
• Heuristic Domain Adaptation [105.59792285047536]
  Heuristic Domain Adaptation Network (HDAN)は、ドメイン不変およびドメイン固有表現を明示的に学習する。 Heuristic Domain Adaptation Network (HDAN)は、教師なしDA、マルチソースDA、半教師なしDAの最先端を超越している。
  論文  参考訳（メタデータ） (2020-11-30T04:21:35Z)
• Interventional Domain Adaptation [81.0692660794765]
  ドメイン適応(DA)は、ソースドメインからターゲットドメインに学習した差別的特徴を転送することを目的としている。 標準的なドメイン不変学習は、素早い相関に悩まされ、ソース固有性を誤って転送する。 ドメイン固有部分とドメイン共有部分とを区別する反ファクト機能を作成します。
  論文  参考訳（メタデータ） (2020-11-07T09:53:13Z)
• Respecting Domain Relations: Hypothesis Invariance for Domain Generalization [30.14312814723027]
  ドメインの一般化では、トレーニング中に複数のラベル付き非独立および非独立に分散されたソースドメインが利用可能である。 現在、いわゆるドメイン不変表現(DIR)を学ぶことは、ドメインの一般化に対する一般的なアプローチである。
  論文  参考訳（メタデータ） (2020-10-15T08:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。