論文の概要: Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization

• arxiv url: http://arxiv.org/abs/2012.06667v1
• Date: Fri, 11 Dec 2020 22:42:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 03:10:04.712200
• Title: Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
• Title（参考訳）: ハイブリッド正規化を用いたランダム特徴モデルの二重降下現象の回避
• Authors: Kelvin Kan, James G Nagy and Lars Ruthotto
• Abstract要約: ランダム特徴モデル(RFM)のトレーニングにおいて生じる二重降下現象を自動的に回避するハイブリッド正規化手法の有効性を示す。 ハイブリッド法は、最も一般的な2種類の正則化(早期停止と重量減少)のそれぞれの強さを組み合わせる。 本稿では,数値実験を行うためのコードを提案する。
• 参考スコア（独自算出の注目度）: 2.7393821783237184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate the ability of hybrid regularization methods to automatically avoid the double descent phenomenon arising in the training of random feature models (RFM). The hallmark feature of the double descent phenomenon is a spike in the regularization gap at the interpolation threshold, i.e. when the number of features in the RFM equals the number of training samples. To close this gap, the hybrid method considered in our paper combines the respective strengths of the two most common forms of regularization: early stopping and weight decay. The scheme does not require hyperparameter tuning as it automatically selects the stopping iteration and weight decay hyperparameter by using generalized cross-validation (GCV). This also avoids the necessity of a dedicated validation set. While the benefits of hybrid methods have been well-documented for ill-posed inverse problems, our work presents the first use case in machine learning. To expose the need for regularization and motivate hybrid methods, we perform detailed numerical experiments inspired by image classification. In those examples, the hybrid scheme successfully avoids the double descent phenomenon and yields RFMs whose generalization is comparable with classical regularization approaches whose hyperparameters are tuned optimally using the test data. We provide our MATLAB codes for implementing the numerical experiments in this paper at https://github.com/EmoryMLIP/HybridRFM.
• Abstract（参考訳）: 本研究では,ランダム特徴モデルの訓練中に発生する二重降下現象を自動的に回避するハイブリッド正規化手法の能力を示す。 二重降下現象の顕著な特徴は、補間閾値における正則化ギャップのスパイクである。 RFMの特徴数がトレーニングサンプルの数と等しい場合。 このギャップを埋めるために,本論文で検討したハイブリット法は,2つの最も一般的な正則化形式である早期停止と重量減衰のそれぞれの強度を組み合わせたものである。 このスキームは、一般化クロスバリデーション(GCV)を用いて停止イテレーションと重み減衰ハイパーパラメータを自動的に選択するため、ハイパーパラメータチューニングを必要としない。 これはまた、専用の検証セットの必要性を回避する。 ハイブリッド手法の利点は不適切な逆問題に対して十分に文書化されているが,本研究は機械学習における最初のユースケースである。 正規化やハイブリッド手法のモチベーションの必要性を明らかにするため,画像分類にインスパイアされた詳細な数値実験を行った。 これらの例では、ハイブリッドスキームは二重降下現象をうまく回避し、テストデータを用いてハイパーパラメータを最適に調整する古典的な正規化アプローチに匹敵する一般化を持つrfmを生成する。 本稿では,数値実験を行うためのMATLABコードについて,https://github.com/EmoryMLIP/HybridRFMで紹介する。

関連論文リスト

• Adaptive Fuzzy C-Means with Graph Embedding [84.47075244116782]
  ファジィクラスタリングアルゴリズムは、大まかに2つの主要なグループに分類できる: ファジィC平均法(FCM)と混合モデルに基づく方法。 本稿では,FCMを用いたクラスタリングモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T08:15:50Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus [0.46040036610482665]
  我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。 提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。 勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
  論文  参考訳（メタデータ） (2023-11-23T20:03:51Z)
• Efficient Integrators for Diffusion Generative Models [22.01769257075573]
  拡散モデルは、推論時に遅いサンプル生成に悩まされる。 事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。 本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T21:04:42Z)
• Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
  k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。 クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。 我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• AdaPT-GMM: Powerful and robust covariate-assisted multiple testing [0.7614628596146599]
  偽発見率(FDR)制御を用いた複数検定の実証的ベイズ法を提案する。 本手法は,アダプティブp値しきい値法(AdaPT)をマスク方式の一般化により洗練する。 我々は、AdaPT-GMMと呼ばれる新しい手法が一貫して高出力を実現することを、広範囲にわたるシミュレーションと実データ例で示す。
  論文  参考訳（メタデータ） (2021-06-30T05:06:18Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。