論文の概要: Covariate Shift in High-Dimensional Random Feature Regression

• arxiv url: http://arxiv.org/abs/2111.08234v1
• Date: Tue, 16 Nov 2021 05:23:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 02:27:17.014182
• Title: Covariate Shift in High-Dimensional Random Feature Regression
• Title（参考訳）: 高次元ランダム特徴回帰における共変量シフト
• Authors: Nilesh Tripuraneni, Ben Adlam, Jeffrey Pennington
• Abstract要約: 共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。 現代の機械学習の文脈における理論的理解を示す。
• 参考スコア（独自算出の注目度）: 44.13449065077103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A significant obstacle in the development of robust machine learning models is covariate shift, a form of distribution shift that occurs when the input distributions of the training and test sets differ while the conditional label distributions remain the same. Despite the prevalence of covariate shift in real-world applications, a theoretical understanding in the context of modern machine learning has remained lacking. In this work, we examine the exact high-dimensional asymptotics of random feature regression under covariate shift and present a precise characterization of the limiting test error, bias, and variance in this setting. Our results motivate a natural partial order over covariate shifts that provides a sufficient condition for determining when the shift will harm (or even help) test performance. We find that overparameterized models exhibit enhanced robustness to covariate shift, providing one of the first theoretical explanations for this intriguing phenomenon. Additionally, our analysis reveals an exact linear relationship between in-distribution and out-of-distribution generalization performance, offering an explanation for this surprising recent empirical observation.
• Abstract（参考訳）: 頑健な機械学習モデルの開発における重要な障害は、トレーニングとテストセットの入力分布が異なり、条件ラベル分布が同じである場合に発生する分布シフトの形式である共変量シフトである。 現実世界の応用における共変量シフトの流行にもかかわらず、現代の機械学習の文脈における理論的理解はいまだに欠如している。 本研究では,共変量シフト下でのランダム特徴回帰の正確な高次元漸近性について検討し,この設定における限界テスト誤差,バイアス,分散の正確な特徴を示す。 結果から,共変量シフトに対する自然な部分順序を動機付け,そのシフトがテスト性能を損なう(あるいは助ける)ための十分な条件を提供する。 過パラメータモデルは共変量シフトに対する強固さを示しており、この興味深い現象の最初の理論的説明の1つとなっている。 さらに,本分析により,分布内分布と分布外分布一般化性能の正確な線形関係が明らかとなり,この驚くべき最近の経験的観察を説明できる。

関連論文リスト

• Generalization vs. Specialization under Concept Shift [12.196508752999797]
  機械学習モデルは、分散シフトの下では不安定であることが多い。 二重降下が欠如している場合でも,テスト性能が非単調なデータ依存を示すことを示す。 MNISTとFashionMNISTの実験は、この興味深い挙動が分類問題にも存在することを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T22:30:28Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics, Directional Convergence, and Equilibria [6.738946307589742]
  共変量分布シフトと対向摂動は,従来の統計学習フレームワークに課題を呈する。 本稿では,無限次元環境下での回帰と分類の両面から,外挿領域を正確に特徴づける。
  論文  参考訳（メタデータ） (2022-12-05T18:00:31Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。