論文の概要: Benign Overfitting in Out-of-Distribution Generalization of Linear Models
- arxiv url: http://arxiv.org/abs/2412.14474v1
- Date: Thu, 19 Dec 2024 02:47:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:33:11.106095
- Title: Benign Overfitting in Out-of-Distribution Generalization of Linear Models
- Title（参考訳）: 線形モデルのアウト・オブ・ディストリビューション一般化における便益オーバーフィッティング
- Authors: Shange Tang, Jiayun Wu, Jianqing Fan, Chi Jin,
- Abstract要約: 我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。
我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。
また、より一般的な目標共分散行列の族についても理論的結果を示す。
- 参考スコア（独自算出の注目度）: 19.203753135860016
- License:
- Abstract: Benign overfitting refers to the phenomenon where an over-parameterized model fits the training data perfectly, including noise in the data, but still generalizes well to the unseen test data. While prior work provides some theoretical understanding of this phenomenon under the in-distribution setup, modern machine learning often operates in a more challenging Out-of-Distribution (OOD) regime, where the target (test) distribution can be rather different from the source (training) distribution. In this work, we take an initial step towards understanding benign overfitting in the OOD regime by focusing on the basic setup of over-parameterized linear models under covariate shift. We provide non-asymptotic guarantees proving that benign overfitting occurs in standard ridge regression, even under the OOD regime when the target covariance satisfies certain structural conditions. We identify several vital quantities relating to source and target covariance, which govern the performance of OOD generalization. Our result is sharp, which provably recovers prior in-distribution benign overfitting guarantee [Tsigler and Bartlett, 2023], as well as under-parameterized OOD guarantee [Ge et al., 2024] when specializing to each setup. Moreover, we also present theoretical results for a more general family of target covariance matrix, where standard ridge regression only achieves a slow statistical rate of $O(1/\sqrt{n})$ for the excess risk, while Principal Component Regression (PCR) is guaranteed to achieve the fast rate $O(1/n)$, where $n$ is the number of samples.
- Abstract（参考訳）: ベニグオーバーフィッティング(Benign Overfitting)とは、過パラメータ化されたモデルがデータのノイズを含むトレーニングデータを完璧に適合させるが、まだ見当たらないテストデータに対してうまく一般化する現象である。
以前の研究では、この現象を非分配的な設定で理論的に理解していたが、現代の機械学習は、ターゲット(テスト)の分布とソース(トレーニング)の分布とがかなり異なる、より困難なアウト・オブ・ディストリビューション(OOD)体制で運用されることが多い。
本研究では,共変量シフトの下での過度パラメータ化線形モデルの基本的な設定に着目して,OOD体制における良性過剰適合の理解に向けた最初の一歩を踏み出す。
我々は, 目標共分散が一定の構造条件を満たす場合であっても, 標準尾根回帰において良性過剰適合が生じることを示す非漸近的保証を提供する。
我々は、OOD一般化の性能を規定する、ソースとターゲットの共分散に関連するいくつかの重要な量を同定する。
我々の結果は鋭く、各設定に特化する場合に、配当前の便宜保証[Tsigler and Bartlett, 2023] を確実に回復させ、また、過度にパラメータ化されたOOD保証[Ge et al , 2024] を回復させる。
さらに、標準リッジ回帰は、余剰リスクに対してO(1/\sqrt{n})$の遅い統計率しか達成しないが、主成分回帰(PCR)は高速なO(1/n)$であり、n$はサンプル数である。
関連論文リスト
- MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。
実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。
予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
論文 参考訳（メタデータ） (2024-05-29T10:45:06Z) - On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。
モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。
これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
論文 参考訳（メタデータ） (2024-03-26T11:01:53Z) - Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。
一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
論文 参考訳（メタデータ） (2024-02-21T08:50:33Z) - Robust Linear Regression: Phase-Transitions and Precise Tradeoffs for
General Norms [29.936005822346054]
線形回帰モデルに対するテスト時間逆行攻撃の影響について検討する。
標準予測性能(正確性)の所定のレベルを維持しながら、どのモデルでも到達できる最適なロバストネスのレベルを決定する。
我々は、標準的な精度を損なうことなく、ロバスト性が達成可能なレジームと、トレードオフが避けられないレジームとを区別する正確なキャラクタリゼーションを得る。
論文 参考訳（メタデータ） (2023-08-01T13:55:45Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - Exploring Optimal Substructure for Out-of-distribution Generalization
via Feature-targeted Model Pruning [23.938392334438582]
本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。
SFP は構造ベースおよび非構造 OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
論文 参考訳（メタデータ） (2022-12-19T13:51:06Z) - Regularization Guarantees Generalization in Bayesian Reinforcement
Learning through Algorithmic Stability [48.62272919754204]
ベイズ RL の一般化を、おそらくほぼ正しい (PAC) フレームワークで研究する。
我々の主な貢献は、正規化を加えることで、最適な政策が適切な意味で安定することを示しています。
論文 参考訳（メタデータ） (2021-09-24T07:48:34Z) - Posterior Differential Regularization with f-divergence for Improving
Model Robustness [95.05725916287376]
クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
後微分正則化を$f$-divergencesの族に一般化する。
実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2020-10-23T19:58:01Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳（メタデータ） (2020-10-12T14:54:32Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。