論文の概要: ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data

• arxiv url: http://arxiv.org/abs/2406.11666v1
• Date: Mon, 17 Jun 2024 15:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 12:54:18.313518
• Title: ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data
• Title（参考訳）: ROTI-GCV:右回転不変データに対する一般化クロスバリデーション
• Authors: Kevin Luo, Yufan Li, Pragya Sur,
• Abstract要約: 高次元正規化回帰における2つの重要なタスクは、良い予測のために正規化強度を調整し、サンプル外リスクを推定することである。 標準的なアプローチ --$k$-foldクロスバリデーション -- は、現代の高次元設定では一貫性がない。 クロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を紹介する。
• 参考スコア（独自算出の注目度）: 1.194799054956877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two key tasks in high-dimensional regularized regression are tuning the regularization strength for good predictions and estimating the out-of-sample risk. It is known that the standard approach -- $k$-fold cross-validation -- is inconsistent in modern high-dimensional settings. While leave-one-out and generalized cross-validation remain consistent in some high-dimensional cases, they become inconsistent when samples are dependent or contain heavy-tailed covariates. To model structured sample dependence and heavy tails, we use right-rotationally invariant covariate distributions - a crucial concept from compressed sensing. In the common modern proportional asymptotics regime where the number of features and samples grow comparably, we introduce a new framework, ROTI-GCV, for reliably performing cross-validation. Along the way, we propose new estimators for the signal-to-noise ratio and noise variance under these challenging conditions. We conduct extensive experiments that demonstrate the power of our approach and its superiority over existing methods.
• Abstract（参考訳）: 高次元正規化回帰における2つの重要なタスクは、良い予測のために正規化強度を調整し、サンプル外リスクを推定することである。 標準的なアプローチである$k$-foldクロスバリデーションは、現代の高次元設定では矛盾することが知られている。 ある高次元のケースでは、退行や一般化されたクロスバリデーションは一貫しているが、サンプルが依存している場合や重尾の共変量を含む場合、それらは矛盾する。 構造されたサンプル依存と重みをモデル化するために、右回転不変な共変量分布を用いる。 特徴量とサンプル数が相容れない現代比例漸近的体制では, クロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。 その過程で,これらの難易度条件下での信号対雑音比と雑音分散の新たな推定法を提案する。 我々は,既存手法よりもアプローチのパワーと優越性を実証する広範な実験を行う。

関連論文リスト

• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• The Decaying Missing-at-Random Framework: Doubly Robust Causal Inference with Partially Labeled Data [10.021381302215062]
  現実のシナリオでは、データ収集の制限によって部分的にラベル付けされたデータセットが生成されることが多く、信頼性の高い因果推論の描画が困難になる。 半パラメトリック(SS)や欠落したデータ文学における従来のアプローチは、これらの複雑さを適切に扱えないため、偏りのある見積もりにつながる可能性がある。 このフレームワークは、高次元設定における欠落した結果に対処し、選択バイアスを考慮に入れます。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• A Targeted Accuracy Diagnostic for Variational Approximations [8.969208467611896]
  変分推論(VI)はマルコフ・チェイン・モンテカルロ(MCMC)の魅力的な代替品である 既存の方法は、全変分分布の品質を特徴付ける。 配電近似精度(TADDAA)のためのTArgeted診断法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T02:50:18Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances [0.6091702876917281]
  高速離脱式を複数倍のクロスバリデーションに一般化する。 単純クリグフレームワークと普遍クリグフレームワークの両方において,クロスバリデーション残差の共分散構造を強調した。 本研究の結果は, 高速な多次元クロスバリデーションを可能にし, モデル診断において直接的な結果をもたらす。
  論文  参考訳（メタデータ） (2021-01-08T17:02:37Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。