論文の概要: Rethink Maximum Mean Discrepancy for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2007.00689v1
• Date: Wed, 1 Jul 2020 18:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:18:54.973960
• Title: Rethink Maximum Mean Discrepancy for Domain Adaptation
• Title（参考訳）: ドメイン適応における最大平均差の再考
• Authors: Wei Wang and Haojie Li and Zhengming Ding and Zhihui Wang
• Abstract要約: 本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
• 参考スコア（独自算出の注目度）: 77.2560592127872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing domain adaptation methods aim to reduce the distributional difference between the source and target domains and respect their specific discriminative information, by establishing the Maximum Mean Discrepancy (MMD) and the discriminative distances. However, they usually accumulate to consider those statistics and deal with their relationships by estimating parameters blindly. This paper theoretically proves two essential facts: 1) minimizing the MMD equals to maximize the source and target intra-class distances respectively but jointly minimize their variance with some implicit weights, so that the feature discriminability degrades; 2) the relationship between the intra-class and inter-class distances is as one falls, another rises. Based on this, we propose a novel discriminative MMD. On one hand, we consider the intra-class and inter-class distances alone to remove a redundant parameter, and the revealed weights provide their approximate optimal ranges. On the other hand, we design two different strategies to boost the feature discriminability: 1) we directly impose a trade-off parameter on the implicit intra-class distance in MMD to regulate its change; 2) we impose the similar weights revealed in MMD on inter-class distance and maximize it, then a balanced factor could be introduced to quantitatively leverage the relative importance between the feature transferability and its discriminability. The experiments on several benchmark datasets not only prove the validity of theoretical results but also demonstrate that our approach could perform better than the comparative state-of-art methods substantially.
• Abstract（参考訳）: 既存のドメイン適応手法は、最大平均離散性(MMD)と識別距離を確立することにより、ソースとターゲットドメイン間の分布差を減らし、特定の識別情報を尊重することを目的としている。 しかし、これらの統計を考察するために蓄積され、パラメータを盲目的に推定することで関係に対処する。 この論文は理論的に2つの重要な事実を証明している。 1)MDDの最小化は,それぞれソースとクラス内距離を最大化するが,その分散を暗黙の重みと共同で最小化し,特徴識別性は低下する。 2) クラス内距離とクラス間距離の関係は, 転倒するにつれて上昇する。 そこで我々は,新しい差別的MDDを提案する。 一方,クラス内距離とクラス間距離は冗長パラメータを除去するためにのみ考慮し,得られた重みは近似最適範囲を提供する。 一方、特徴識別性を高めるための2つの異なる戦略を設計します。 1) mmd内の暗黙のクラス内距離に対して直接トレードオフパラメータを課し,その変化を規制する。 2) クラス間距離でMDDで示される類似の重みを最大化し, 特徴伝達可能性とその識別可能性の相対的重要性を定量的に活用するためにバランス係数を導入することができた。 いくつかのベンチマークデータセットにおける実験は、理論的な結果の妥当性を証明するだけでなく、我々のアプローチが比較最先端の手法よりも効果的であることを示すものである。

関連論文リスト

• Does Machine Bring in Extra Bias in Learning? Approximating Fairness in Models Promptly [2.002741592555996]
  機械学習モデルの識別レベルを評価するための既存の技術には、一般的に使用されるグループと個別の公正度尺度が含まれる。 本稿では,集合間の距離に基づく「HFM(Harmonic Fairness measure)」を提案する。 実験結果から,提案した公正度尺度 HFM が有効であり,提案した ApproxDist が有効かつ効率的であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-15T11:07:40Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
  確率分布の相違は、統計的推測と機械学習の核心にある。 本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-22T16:35:58Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)
• Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
  我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。 提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
  論文  参考訳（メタデータ） (2020-06-09T23:26:15Z)
• Maximum Density Divergence for Domain Adaptation [0.0]
  教師なしドメイン適応は、十分にラベル付けされたソースドメインからラベル付けされていないターゲットドメインへ知識を転送する問題に対処する。 本稿では,敵対的学習とメートル法学習の両方の利点を享受するATM(Adversarial Tight Match)というドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-27T07:35:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。