論文の概要: Learning Domain Invariant Representations by Joint Wasserstein Distance Minimization

• arxiv url: http://arxiv.org/abs/2106.04923v2
• Date: Mon, 21 Aug 2023 09:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 03:35:45.706200
• Title: Learning Domain Invariant Representations by Joint Wasserstein Distance Minimization
• Title（参考訳）: 共同ワッサーシュタイン距離最小化による領域不変表現の学習
• Authors: L\'eo Andeol, Yusei Kawakami, Yuichiro Wada, Takafumi Kanamori, Klaus-Robert M\"uller, Gr\'egoire Montavon
• Abstract要約: トレーニングデータのドメインシフトは、機械学習の実践的応用において一般的である。 理想的には、MLモデルは、例えばドメイン不変表現を学ぶことによって、これらのシフトとは独立して機能するべきです。 一般的なMLの損失は、MLモデルが異なるドメインに対していかに一貫して機能するかを強く保証するものではない。
• 参考スコア（独自算出の注目度）: 3.382067152367334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain shifts in the training data are common in practical applications of machine learning; they occur for instance when the data is coming from different sources. Ideally, a ML model should work well independently of these shifts, for example, by learning a domain-invariant representation. However, common ML losses do not give strong guarantees on how consistently the ML model performs for different domains, in particular, whether the model performs well on a domain at the expense of its performance on another domain. In this paper, we build new theoretical foundations for this problem, by contributing a set of mathematical relations between classical losses for supervised ML and the Wasserstein distance in joint space (i.e. representation and output space). We show that classification or regression losses, when combined with a GAN-type discriminator between domains, form an upper-bound to the true Wasserstein distance between domains. This implies a more invariant representation and also more stable prediction performance across domains. Theoretical results are corroborated empirically on several image datasets. Our proposed approach systematically produces the highest minimum classification accuracy across domains, and the most invariant representation.
• Abstract（参考訳）: トレーニングデータのドメインシフトは、機械学習の実践的な応用において一般的である。 理想的には、mlモデルは、例えばドメイン不変表現を学習することによって、これらのシフトとは独立に機能すべきである。 しかし、一般的なMLの損失は、MLモデルが異なるドメインに対していかに一貫して機能するか、特に、他のドメインでのパフォーマンスを犠牲にして、そのモデルがドメイン上でうまく機能するかを強く保証するものではない。 本稿では,教師付きmlにおける古典的損失と結合空間におけるwasserstein距離(つまり表現と出力空間)との数学的関係のセットを提供することにより,この問題に対する新たな理論的基礎を構築する。 分類や回帰損失は、ドメイン間のGAN型判別器と組み合わせることで、ドメイン間の真のワッサーシュタイン距離に上限を形成することを示す。 これは、より不変な表現とドメイン間のより安定した予測性能を意味する。 理論的結果は複数の画像データセット上で実証的に裏付けられる。 提案手法は,ドメイン間の最小分類精度と最も不変な表現を系統的に生成する。

関連論文リスト

• Cross-Domain Policy Adaptation by Capturing Representation Mismatch [53.087413751430255]
  強化学習(RL)において、動的に異なる領域に移行できる効果的な政策を学ぶことが不可欠である。 本稿では、ソースドメインとターゲットドメインとの間に動的ミスマッチが存在する場合の動的適応設定について考察する。 対象領域でのみ表現学習を行い、ソース領域からの遷移における表現偏差を測定する。
  論文  参考訳（メタデータ） (2024-05-24T09:06:12Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Domain Adaptation for Time-Series Classification to Mitigate Covariate Shift [3.071136270246468]
  本稿では,2つのステップに基づいた新しいドメイン適応手法を提案する。 まず、いくつかのサンプルから、ソースからターゲットドメインへの最適なクラス依存変換を探索する。 次に、埋め込み類似性技術を用いて、推論時に対応する変換を選択する。
  論文  参考訳（メタデータ） (2022-04-07T10:27:14Z)
• Domain-Class Correlation Decomposition for Generalizable Person Re-Identification [34.813965300584776]
  個人の再識別では、ドメインとクラスは相関する。 このドメイン・クラス間の相関関係により、ドメインの敵対的学習はクラスに関する特定の情報を失うことが示される。 我々のモデルは、大規模ドメイン一般化Re-IDベンチマークにおいて最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T09:45:03Z)
• Heuristic Domain Adaptation [105.59792285047536]
  Heuristic Domain Adaptation Network (HDAN)は、ドメイン不変およびドメイン固有表現を明示的に学習する。 Heuristic Domain Adaptation Network (HDAN)は、教師なしDA、マルチソースDA、半教師なしDAの最先端を超越している。
  論文  参考訳（メタデータ） (2020-11-30T04:21:35Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• DIRL: Domain-Invariant Representation Learning for Sim-to-Real Transfer [2.119586259941664]
  本稿では,ドメイン不変表現学習(DIRL)アルゴリズムを提案する。 桁領域の実験は、挑戦的なベンチマークで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2020-11-15T17:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。