論文の概要: KL Guided Domain Adaptation

• arxiv url: http://arxiv.org/abs/2106.07780v1
• Date: Mon, 14 Jun 2021 22:24:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:08:35.418168
• Title: KL Guided Domain Adaptation
• Title（参考訳）: KLガイドドメイン適応
• Authors: A. Tuan Nguyen, Toan Tran, Yarin Gal, Philip H. S. Torr, At{\i}l{\i}m G\"une\c{s} Baydin
• Abstract要約: ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
• 参考スコア（独自算出の注目度）: 88.19298405363452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation is an important problem and often needed for real-world applications. In this problem, instead of i.i.d. datapoints, we assume that the source (training) data and the target (testing) data have different distributions. With that setting, the empirical risk minimization training procedure often does not perform well, since it does not account for the change in the distribution. A common approach in the domain adaptation literature is to learn a representation of the input that has the same distributions over the source and the target domain. However, these approaches often require additional networks and/or optimizing an adversarial (minimax) objective, which can be very expensive or unstable in practice. To tackle this problem, we first derive a generalization bound for the target loss based on the training loss and the reverse Kullback-Leibler (KL) divergence between the source and the target representation distributions. Based on this bound, we derive an algorithm that minimizes the KL term to obtain a better generalization to the target domain. We show that with a probabilistic representation network, the KL term can be estimated efficiently via minibatch samples without any additional network or a minimax objective. This leads to a theoretically sound alignment method which is also very efficient and stable in practice. Experimental results also suggest that our method outperforms other representation-alignment approaches.
• Abstract（参考訳）: ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 この問題では、i.i.d.の代わりに。 データポイントでは、ソース(トレーニング)データとターゲット(テスト)データが異なる分布を持つと仮定する。 この設定では、分布の変化を考慮しないため、経験的リスク最小化訓練手順がうまく機能しないことが多い。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメイン上の同じ分布を持つ入力の表現を学ぶことである。 しかし、これらのアプローチは、しばしば追加のネットワークと/または敵(ミニマックス)の目的を最適化する必要がある。 この問題に対処するために、まず、トレーニング損失と、ソースとターゲット表現分布との逆のKL(Kullback-Leibler)ばらつきに基づいて、目標損失に対する一般化を導出する。 この境界に基づいて、KL項を最小化して対象領域へのより良い一般化を得るアルゴリズムを導出する。 確率的表現ネットワークでは、KL項は、追加のネットワークやミニマックスの目的を持たないミニバッチサンプルによって効率的に推定できることを示す。 これにより、理論上は非常に効率的で安定なアライメント法が導かれる。 また,提案手法が他の表現適応手法よりも優れていることを示す。

関連論文リスト

• Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
  正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。 標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。 本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-20T09:31:35Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Cooperative Distribution Alignment via JSD Upper Bound [7.071749623370137]
  教師なし分布アライメントは、2つ以上のソース分布を共有整列分布にマッピングする変換を推定する。 このタスクには、生成モデリング、教師なしドメイン適応、社会的に認識された学習など、多くの応用がある。 我々は,従来のフローベースアプローチを,単一の非逆数フレームワークで統一し,一般化することを提案する。
  論文  参考訳（メタデータ） (2022-07-05T20:09:03Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
  ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。 最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。 そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。 近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-26T07:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。