論文の概要: Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With
Jensen-Shannon Divergence
- arxiv url: http://arxiv.org/abs/2007.15567v1
- Date: Thu, 30 Jul 2020 16:19:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:32:55.019502
- Title: Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With
Jensen-Shannon Divergence
- Title（参考訳）: $\mathcal{H}$-divergenceを超えて: Jensen-Shannonの発散によるドメイン適応理論
- Authors: Changjian Shui, Qi Chen, Jun Wen, Fan Zhou, Christian Gagn\'e, Boyu
Wang
- Abstract要約: 広範に評価された経験的ドメイン逆行訓練と,$mathcalH$-divergenceに基づく理論上の相似性を明らかにする。
我々は,Jensen-Shannon分散に基づく上層および下層ターゲットのリスク境界を直接証明することによって,新たな理論的枠組みを確立する。
- 参考スコア（独自算出の注目度）: 21.295136514836788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We reveal the incoherence between the widely-adopted empirical domain
adversarial training and its generally-assumed theoretical counterpart based on
$\mathcal{H}$-divergence. Concretely, we find that $\mathcal{H}$-divergence is
not equivalent to Jensen-Shannon divergence, the optimization objective in
domain adversarial training. To this end, we establish a new theoretical
framework by directly proving the upper and lower target risk bounds based on
joint distributional Jensen-Shannon divergence. We further derive
bi-directional upper bounds for marginal and conditional shifts. Our framework
exhibits inherent flexibilities for different transfer learning problems, which
is usable for various scenarios where $\mathcal{H}$-divergence-based theory
fails to adapt. From an algorithmic perspective, our theory enables a generic
guideline unifying principles of semantic conditional matching, feature
marginal matching, and label marginal shift correction. We employ algorithms
for each principle and empirically validate the benefits of our framework on
real datasets.
- Abstract（参考訳）: 広範に学習された経験的ドメイン逆行訓練と,$\mathcal{H}$-divergence に基づく理論上の相似性を明らかにする。
具体的には、$\mathcal{H}$-divergence は、ドメイン対逆トレーニングの最適化目的である Jensen-Shannon divergence と等価ではない。
この目的を達成するために,jensen-shannon 同時発散に基づく上・下目標リスク境界を直接証明し,新たな理論的枠組みを確立する。
さらに,境界と条件シフトの両方向上界を導出する。
このフレームワークは、異なる移動学習問題に対して固有の柔軟性を示し、$\mathcal{H}$-divergence-based theory が適用できない様々なシナリオで使用できる。
アルゴリズムの観点から,本理論はセマンティック条件マッチング,特徴境界マッチング,ラベル境界シフト補正の原則を統一した一般的なガイドラインを可能にする。
各原則にアルゴリズムを採用し、実際のデータセット上でフレームワークの利点を実証的に検証します。
関連論文リスト
- Domain Agnostic Conditional Invariant Predictions for Domain Generalization [20.964740750976667]
本稿では,識別リスク最小化(DRM)理論とそれに対応するアルゴリズムを提案する。
DRM理論では、ソース領域全体とそのサブセット間の予測分布の相違が、不変な特徴の獲得に寄与することを証明する。
我々は,複数の実世界のデータセット上での領域一般化手法に対するアルゴリズムの評価を行った。
論文 参考訳（メタデータ） (2024-06-09T02:38:52Z) - Domain Adaptation with Cauchy-Schwarz Divergence [39.36943882475589]
教師なし領域適応(UDA)問題にコーシー=シュワルツの発散を導入する。
CS発散は、Kulback-Leibler発散よりも理論上より厳密な一般化誤差を提供する。
距離距離測定および対角訓練に基づくUDAフレームワークにおいて,CSのばらつきが有用であることを示す。
論文 参考訳（メタデータ） (2024-05-30T12:01:12Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Generalized Schrödinger Bridge Matching [54.171931505066]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:42:11Z) - Theoretical Guarantees for Domain Adaptation with Hierarchical Optimal
Transport [0.0]
ドメイン適応は統計学習理論において重要な問題として生じる。
近年の進歩は、領域適応アルゴリズムの成功は、ソースとターゲット領域の確率分布のばらつきを最小限に抑える能力に大きく依存していることを示している。
階層的最適輸送によるドメイン適応のための新しい理論的枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-24T15:34:09Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - A Theory of Label Propagation for Subpopulation Shift [61.408438422417326]
ラベル伝搬に基づくドメイン適応のための有効なフレームワークを提案する。
アルゴリズム全体でエンドツーエンドの有限サンプル保証を得る。
理論的なフレームワークを、第3のラベルなしデータセットに基づいたソースからターゲットへの転送のより一般的な設定に拡張します。
論文 参考訳（メタデータ） (2021-02-22T17:27:47Z) - A Convenient Infinite Dimensional Framework for Generative Adversarial
Learning [4.396860522241306]
生成的対角学習のための無限次元理論的枠組みを提案する。
本フレームワークでは, 逆学習手順から生成元が誘導する分布とデータ生成分布とのJensen-Shannon分散が0に収束する。
論文 参考訳（メタデータ） (2020-11-24T13:45:17Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Joint Contrastive Learning for Unsupervised Domain Adaptation [20.799729748233343]
本稿では, 目標誤差に対して, より管理しやすくするために, 共同エラーを明示的に考慮する別の上限を提案する。
連立比較学習を導入し, 連立誤差の最小化に欠かせない, クラスレベルの識別的特徴を見出す。
2つの実世界のデータセットの実験では、JCLが最先端の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2020-06-18T06:25:34Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。