論文の概要: Multiple Descent in the Multiple Random Feature Model

• arxiv url: http://arxiv.org/abs/2208.09897v3
• Date: Tue, 10 Oct 2023 08:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 16:32:44.134311
• Title: Multiple Descent in the Multiple Random Feature Model
• Title（参考訳）: 多重ランダム特徴モデルにおける多重降下
• Authors: Xuran Meng, Jianfeng Yao, Yuan Cao
• Abstract要約: 多成分予測モデルのクラスにおける多重降下現象について検討する。 特定の降下数を持つリスク曲線が、多成分予測モデルの学習に一般的に存在することを示す。
• 参考スコア（独自算出の注目度）: 8.988540634325691
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works have demonstrated a double descent phenomenon in over-parameterized learning. Although this phenomenon has been investigated by recent works, it has not been fully understood in theory. In this paper, we investigate the multiple descent phenomenon in a class of multi-component prediction models. We first consider a ''double random feature model'' (DRFM) concatenating two types of random features, and study the excess risk achieved by the DRFM in ridge regression. We calculate the precise limit of the excess risk under the high dimensional framework where the training sample size, the dimension of data, and the dimension of random features tend to infinity proportionally. Based on the calculation, we further theoretically demonstrate that the risk curves of DRFMs can exhibit triple descent. We then provide a thorough experimental study to verify our theory. At last, we extend our study to the ''multiple random feature model'' (MRFM), and show that MRFMs ensembling $K$ types of random features may exhibit $(K+1)$-fold descent. Our analysis points out that risk curves with a specific number of descent generally exist in learning multi-component prediction models.
• Abstract（参考訳）: 近年の研究では、過パラメータ学習における二重降下現象が示されている。 この現象は近年研究されているが、理論上は完全には理解されていない。 本稿では,多成分予測モデルのクラスにおける多重降下現象について検討する。 まず,2種類のランダム特徴を結合した「二重ランダム特徴モデル」 (drfm) を考察し,リッジ回帰におけるdrfmによる過剰リスクについて検討した。 トレーニングサンプルサイズ,データ次元,ランダム特徴の次元が比例的に無限大となる高次元枠組みにおいて,過剰リスクの正確な限界を計算する。 この計算に基づいて,drfmのリスク曲線が三重降下を示すことを理論的に証明する。 次に、理論を検証するための徹底した実験研究を行う。 最後に, MRFM (Multiple random feature model) に研究を拡張し, MRFMが$K$のランダムな特徴を組み合わすと$(K+1)$-fold降下を示すことを示した。 本分析は,多成分予測モデルの学習において,特定の降下数を持つリスク曲線が一般的に存在することを指摘する。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Asymptotics of Bayesian Uncertainty Estimation in Random Features Regression [1.170951597793276]
  本研究では, 後方予測分布(ベイジアンモデル平均)のばらつきに着目し, MAP推定器の危険度と比較する。 また、サンプルの数がモデル次元のどの定数倍数よりも速く成長する場合にも一致する。
  論文  参考訳（メタデータ） (2023-06-06T15:36:15Z)
• Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
  我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。 等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T09:30:25Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Asymptotic Risk of Overparameterized Likelihood Models: Double Descent Theory for Deep Neural Networks [12.132641563193582]
  深層モデルを含む可視性モデルに対する一般クラスのリスクについて検討する。 並列深層ニューラルネットワークやアンサンブル学習など,いくつかの明示的なモデルが我々の理論と一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-28T13:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。