論文の概要: Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With
Jensen-Shannon Divergence
- arxiv url: http://arxiv.org/abs/2007.15567v1
- Date: Thu, 30 Jul 2020 16:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:32:55.019502
- Title: Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With
Jensen-Shannon Divergence
- Title(参考訳): $\mathcal{H}$-divergenceを超えて: Jensen-Shannonの発散によるドメイン適応理論
- Authors: Changjian Shui, Qi Chen, Jun Wen, Fan Zhou, Christian Gagn\'e, Boyu
Wang
- Abstract要約: 広範に評価された経験的ドメイン逆行訓練と,$mathcalH$-divergenceに基づく理論上の相似性を明らかにする。
我々は,Jensen-Shannon分散に基づく上層および下層ターゲットのリスク境界を直接証明することによって,新たな理論的枠組みを確立する。
- 参考スコア(独自算出の注目度): 21.295136514836788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We reveal the incoherence between the widely-adopted empirical domain
adversarial training and its generally-assumed theoretical counterpart based on
$\mathcal{H}$-divergence. Concretely, we find that $\mathcal{H}$-divergence is
not equivalent to Jensen-Shannon divergence, the optimization objective in
domain adversarial training. To this end, we establish a new theoretical
framework by directly proving the upper and lower target risk bounds based on
joint distributional Jensen-Shannon divergence. We further derive
bi-directional upper bounds for marginal and conditional shifts. Our framework
exhibits inherent flexibilities for different transfer learning problems, which
is usable for various scenarios where $\mathcal{H}$-divergence-based theory
fails to adapt. From an algorithmic perspective, our theory enables a generic
guideline unifying principles of semantic conditional matching, feature
marginal matching, and label marginal shift correction. We employ algorithms
for each principle and empirically validate the benefits of our framework on
real datasets.
- Abstract(参考訳): 広範に学習された経験的ドメイン逆行訓練と,$\mathcal{H}$-divergence に基づく理論上の相似性を明らかにする。
具体的には、$\mathcal{H}$-divergence は、ドメイン対逆トレーニングの最適化目的である Jensen-Shannon divergence と等価ではない。
この目的を達成するために,jensen-shannon 同時発散に基づく上・下目標リスク境界を直接証明し,新たな理論的枠組みを確立する。
さらに,境界と条件シフトの両方向上界を導出する。
このフレームワークは、異なる移動学習問題に対して固有の柔軟性を示し、$\mathcal{H}$-divergence-based theory が適用できない様々なシナリオで使用できる。
アルゴリズムの観点から,本理論はセマンティック条件マッチング,特徴境界マッチング,ラベル境界シフト補正の原則を統一した一般的なガイドラインを可能にする。
各原則にアルゴリズムを採用し、実際のデータセット上でフレームワークの利点を実証的に検証します。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Generalized Schr\"odinger Bridge Matching [57.40143569424158]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域に広く見られる。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は、効率的な変分近似を利用できる条件付き最適制御を解くのに役立てることができることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:42:11Z) - Theoretical Guarantees for Domain Adaptation with Hierarchical Optimal
Transport [0.0]
ドメイン適応は統計学習理論において重要な問題として生じる。
近年の進歩は、領域適応アルゴリズムの成功は、ソースとターゲット領域の確率分布のばらつきを最小限に抑える能力に大きく依存していることを示している。
階層的最適輸送によるドメイン適応のための新しい理論的枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-24T15:34:09Z) - Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。
本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。
Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
論文 参考訳(メタデータ) (2022-10-09T03:41:02Z) - Asymptotic Statistical Analysis of $f$-divergence GAN [13.587087960403199]
GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。
GANの一般$f$-divergence定式化の統計的挙動を考察する。
得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
論文 参考訳(メタデータ) (2022-09-14T18:08:37Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳(メタデータ) (2022-08-18T06:42:49Z) - A Theory of Label Propagation for Subpopulation Shift [61.408438422417326]
ラベル伝搬に基づくドメイン適応のための有効なフレームワークを提案する。
アルゴリズム全体でエンドツーエンドの有限サンプル保証を得る。
理論的なフレームワークを、第3のラベルなしデータセットに基づいたソースからターゲットへの転送のより一般的な設定に拡張します。
論文 参考訳(メタデータ) (2021-02-22T17:27:47Z) - A Convenient Infinite Dimensional Framework for Generative Adversarial
Learning [4.396860522241306]
生成的対角学習のための無限次元理論的枠組みを提案する。
本フレームワークでは, 逆学習手順から生成元が誘導する分布とデータ生成分布とのJensen-Shannon分散が0に収束する。
論文 参考訳(メタデータ) (2020-11-24T13:45:17Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Joint Contrastive Learning for Unsupervised Domain Adaptation [20.799729748233343]
本稿では, 目標誤差に対して, より管理しやすくするために, 共同エラーを明示的に考慮する別の上限を提案する。
連立比較学習を導入し, 連立誤差の最小化に欠かせない, クラスレベルの識別的特徴を見出す。
2つの実世界のデータセットの実験では、JCLが最先端の手法より優れていることが示されている。
論文 参考訳(メタデータ) (2020-06-18T06:25:34Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳(メタデータ) (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。