論文の概要: On the benefits of representation regularization in invariance based domain generalization

• arxiv url: http://arxiv.org/abs/2105.14529v1
• Date: Sun, 30 May 2021 13:13:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 12:49:05.131085
• Title: On the benefits of representation regularization in invariance based domain generalization
• Title（参考訳）: 不変性に基づく領域一般化における表現正規化の利点について
• Authors: Changjian Shui, Boyu Wang, Christian Gagn\'e
• Abstract要約: ドメインの一般化は、観測された環境と見えない環境の間のこのような予測ギャップを軽減することを目的としている。 本稿では、単に不変表現の学習が、目に見えない環境に対して脆弱であることを明らかにする。 さらに, 領域一般化におけるロバスト性向上のための効率的な正則化手法を考案した。
• 参考スコア（独自算出の注目度）: 6.197602794925773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial aspect in reliable machine learning is to design a deployable system in generalizing new related but unobserved environments. Domain generalization aims to alleviate such a prediction gap between the observed and unseen environments. Previous approaches commonly incorporated learning invariant representation for achieving good empirical performance. In this paper, we reveal that merely learning invariant representation is vulnerable to the unseen environment. To this end, we derive novel theoretical analysis to control the unseen test environment error in the representation learning, which highlights the importance of controlling the smoothness of representation. In practice, our analysis further inspires an efficient regularization method to improve the robustness in domain generalization. Our regularization is orthogonal to and can be straightforwardly adopted in existing domain generalization algorithms for invariant representation learning. Empirical results show that our algorithm outperforms the base versions in various dataset and invariance criteria.
• Abstract（参考訳）: 信頼できる機械学習における重要な側面は、新しい関連するが観測されていない環境を一般化するデプロイ可能なシステムを設計することである。 ドメインの一般化は、観測された環境と見えない環境の間の予測ギャップを軽減することを目的としている。 従来のアプローチでは、優れた経験的パフォーマンスを達成するために、学習不変表現を一般的に取り入れていた。 本稿では,不変表現の学習が未知環境に対して脆弱であることを示す。 この目的のために,表現の滑らかさを制御することの重要性を強調する表現学習において,目に見えないテスト環境エラーを制御するための新しい理論解析を導出する。 実際、この分析はドメインの一般化におけるロバスト性を改善するための効率的な正規化法をさらに刺激する。 我々の正規化は直交的であり、不変表現学習のための既存の領域一般化アルゴリズムで直接適用することができる。 実験結果から,本アルゴリズムは様々なデータセットと不変性基準においてベースバージョンを上回っていることがわかった。

関連論文リスト

• Towards Context-Aware Domain Generalization: Understanding the Benefits and Limits of Marginal Transfer Learning [1.5320861212113897]
  我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。 経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
  論文  参考訳（メタデータ） (2023-12-15T05:18:07Z)
• Invariant Causal Mechanisms through Distribution Matching [86.07327840293894]
  本研究では、因果的視点と不変表現を学習するための新しいアルゴリズムを提供する。 実験により,このアルゴリズムは様々なタスク群でうまく動作し,特にドメインの一般化における最先端のパフォーマンスを観察する。
  論文  参考訳（メタデータ） (2022-06-23T12:06:54Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
  ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。 本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。 2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
  論文  参考訳（メタデータ） (2021-05-09T21:33:27Z)
• Nonlinear Invariant Risk Minimization: A Causal Approach [5.63479133344366]
  非線形環境下での分布外一般化を可能にする学習パラダイムを提案する。 我々は、非常に単純な変換までデータ表現の識別性を示す。 合成データと実世界のデータセットの両方に関する広範な実験は、我々のアプローチが様々なベースラインメソッドを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-02-24T15:38:41Z)
• Environment Inference for Invariant Learning [9.63004099102596]
  環境推論を組み込んだドメイン不変学習フレームワークであるEIILを提案する。 EIILは環境ラベルを使わずにCMNISTベンチマークの不変学習法より優れていることを示す。 また、EIILとアルゴリズムフェアネスの接続を確立することにより、公平な予測問題において、EIILは精度とキャリブレーションを改善することができる。
  論文  参考訳（メタデータ） (2020-10-14T17:11:46Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning to Learn with Variational Information Bottleneck for Domain Generalization [128.90691697063616]
  ドメイン一般化モデルは、これまで見つからなかった領域に一般化することを学ぶが、予測の不確実性とドメインシフトに悩まされる。 ドメイン一般化のための確率論的メタラーニングモデルを導入し、ドメイン間で共有されるパラメータを分布としてモデル化する。 ドメインシフトに対処するため、メタ変動情報ボトルネックという提案原則を用いてドメイン不変表現を学習し、メタVIBと呼ぶ。
  論文  参考訳（メタデータ） (2020-07-15T12:05:52Z)
• Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
  本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。 これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-04-25T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。