論文の概要: Understanding Domain Generalization: A Noise Robustness Perspective

• arxiv url: http://arxiv.org/abs/2401.14846v1
• Date: Fri, 26 Jan 2024 13:27:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 15:01:50.608566
• Title: Understanding Domain Generalization: A Noise Robustness Perspective
• Title（参考訳）: 領域一般化を理解する: 雑音ロバスト性の観点から
• Authors: Rui Qiao, Bryan Kian Hsiang Low
• Abstract要約: ラベルノイズのレンズによるEMM上のDGアルゴリズムの利点について検討する。 ラベルノイズはERMに対するスプリアス相関の影響を悪化させ,一般化を損なうことを示す。 我々は,スプリアス相関から生じるERMの故障モードが,実際にはあまり顕著でないと推測する。
• 参考スコア（独自算出の注目度）: 41.04906415657397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the rapid development of machine learning algorithms for domain generalization (DG), there is no clear empirical evidence that the existing DG algorithms outperform the classic empirical risk minimization (ERM) across standard benchmarks. To better understand this phenomenon, we investigate whether there are benefits of DG algorithms over ERM through the lens of label noise. Specifically, our finite-sample analysis reveals that label noise exacerbates the effect of spurious correlations for ERM, undermining generalization. Conversely, we illustrate that DG algorithms exhibit implicit label-noise robustness during finite-sample training even when spurious correlation is present. Such desirable property helps mitigate spurious correlations and improve generalization in synthetic experiments. However, additional comprehensive experiments on real-world benchmark datasets indicate that label-noise robustness does not necessarily translate to better performance compared to ERM. We conjecture that the failure mode of ERM arising from spurious correlations may be less pronounced in practice.
• Abstract（参考訳）: ドメイン一般化(DG)のための機械学習アルゴリズムの急速な開発にもかかわらず、既存のDGアルゴリズムが標準ベンチマークにおける古典的経験的リスク最小化(ERM)よりも優れているという明確な実証的証拠はない。 この現象をよりよく理解するために,ラベルノイズのレンズによるEMM上のDGアルゴリズムの利点について検討する。 特に, 有限サンプル解析により, ラベル雑音がermのスプリアス相関の効果を悪化させ, 一般化を損なうことが明らかとなった。 逆に,sprious correlationが存在する場合においても,有限サンプルトレーニング中にdgアルゴリズムが暗黙のラベルノイズロバスト性を示すことを示す。 このような望ましい性質は、スプリアス相関を緩和し、合成実験の一般化を改善するのに役立つ。 しかしながら、実世界のベンチマークデータセットに関するさらなる包括的な実験は、ラベルノイズの堅牢性が必ずしもermよりも優れたパフォーマンスをもたらすとは限らないことを示している。 我々は,スプリアス相関から生じるERMの故障モードが,実際にはあまり顕著でないと推測する。

関連論文リスト

• Coordinated Sparse Recovery of Label Noise [2.9495895055806804]
  本研究は、ラベルノイズがインスタンス依存であるロバストな分類タスクに焦点を当てる。 協調スパース回収法(CSR)を提案する。 CSRは、モデル予測とノイズ回復を調整するために、協調行列と信頼重みを導入し、エラーリークを低減する。 CSRに基づいて,共同サンプル選択戦略を設計し,CSR+と呼ばれる包括的で強力な学習フレームワークを構築した。
  論文  参考訳（メタデータ） (2024-04-07T03:41:45Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization [1.6799377888527687]
  ドメイン一般化は、学習外分布に一般化する深層学習モデルの能力を研究する。 近年の研究では、DGの再現可能なベンチマークが提供され、既存のアルゴリズムに対する経験的リスク最小化(ERM)の有効性が指摘されている。 本稿では,その内在的一般化能力を包括的に分析するバックボーンの評価を行う。
  論文  参考訳（メタデータ） (2022-09-02T15:30:17Z)
• Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization [23.302060306322506]
  実世界のデータは、しばしば異なる属性に対して複数の分散シフトを持つ。 最先端のDGアルゴリズムは、すべてのシフトに対して一貫してうまく動作しない。 我々は、データ生成プロセスに関する知識を用いて正規化のための正しい独立制約を適応的に識別し、適用するアルゴリズムであるCausally Adaptive Constraint Minimization (CACM)を開発した。
  論文  参考訳（メタデータ） (2022-06-15T22:35:06Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Anticorrelated Noise Injection for Improved Generalization [6.970991851511823]
  勾配降下(GD)に人工ノイズを注入することで、機械学習モデルの性能を向上させることが一般的である。 しかし、これが最適かどうか、あるいは他の種類のノイズがより良い一般化性能を提供できるかどうかは不明である。 我々は,抗相関性摂動(Anti-PGD)を持つGDが,GDと標準(非相関性)PGDよりもはるかに良く一般化することを示す,様々な目的関数を考察する。
  論文  参考訳（メタデータ） (2022-02-06T18:52:21Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。