論文の概要: Optimal Ridge Regularization for Out-of-Distribution Prediction

• arxiv url: http://arxiv.org/abs/2404.01233v1
• Date: Mon, 1 Apr 2024 16:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:36:17.815459
• Title: Optimal Ridge Regularization for Out-of-Distribution Prediction
• Title（参考訳）: アウト・オブ・ディストリビューション予測のための最適リッジ正規化
• Authors: Pratik Patil, Jin-Hong Du, Ryan J. Tibshirani,
• Abstract要約: 分配予測のための最適尾根正則化と最適尾根リスクの挙動について検討した。 最適正則化レベルの符号を決定する一般的な条件を確立する。
• 参考スコア（独自算出の注目度）: 6.278498348219108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the behavior of optimal ridge regularization and optimal ridge risk for out-of-distribution prediction, where the test distribution deviates arbitrarily from the train distribution. We establish general conditions that determine the sign of the optimal regularization level under covariate and regression shifts. These conditions capture the alignment between the covariance and signal structures in the train and test data and reveal stark differences compared to the in-distribution setting. For example, a negative regularization level can be optimal under covariate shift or regression shift, even when the training features are isotropic or the design is underparameterized. Furthermore, we prove that the optimally-tuned risk is monotonic in the data aspect ratio, even in the out-of-distribution setting and when optimizing over negative regularization levels. In general, our results do not make any modeling assumptions for the train or the test distributions, except for moment bounds, and allow for arbitrary shifts and the widest possible range of (negative) regularization levels.
• Abstract（参考訳）: 本研究では, 列車分布から任意に試験分布がずれる分布予測において, 最適尾根正則化と最適尾根リスクの挙動について検討する。 我々は、共変量および回帰シフトの下で最適な正則化レベルの符号を決定する一般的な条件を確立する。 これらの条件は、列車内の共分散と信号構造との間のアライメントを捕捉し、試験データから、配電条件と比較してスターク差を明らかにする。 例えば、トレーニング特徴が等方的であったり、設計が過度なパラメータ化であっても、共変量シフトや回帰シフトの下で負の正則化レベルを最適にすることができる。 さらに、最適調整リスクは、配当外設定や負の正則化レベルよりも最適化する場合においても、データアスペクト比において単調であることが証明された。 一般に、我々の結果は、モーメント境界を除いて列車やテスト分布のモデリングの仮定を一切行わず、任意のシフトを許容し、より広い範囲の(負の)正規化レベルを許容する。

関連論文リスト

• Generalized equivalences between subsampling and ridge regularization [3.1346887720803505]
  アンサンブルリッジ推定器におけるサブサンプリングとリッジ正則化の間の構造的およびリスク等価性を証明した。 我々の同値性の間接的な意味は、最適に調整されたリッジ回帰は、データアスペクト比において単調な予測リスクを示すことである。
  論文  参考訳（メタデータ） (2023-05-29T14:05:51Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Distribution-Free Robust Linear Regression [5.532477732693]
  共変体の分布を仮定せずにランダムな設計線形回帰を研究する。 最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。 我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
  論文  参考訳（メタデータ） (2021-02-25T15:10:41Z)
• Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows [10.406659081400354]
  変分近似は、サンプリングによって推定される予測の勾配に基づく最適化に基づいている。 カテゴリー分布のGumbel-Softmaxのような連続緩和は勾配に基づく最適化を可能にするが、離散的な観測のために有効な確率質量を定義しない。 実際には、緩和の量を選択することは困難であり、望ましいものと一致しない目的を最適化する必要がある。
  論文  参考訳（メタデータ） (2020-06-28T10:39:39Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。