論文の概要: Implicit Regularization of Random Feature Models

• arxiv url: http://arxiv.org/abs/2002.08404v2
• Date: Wed, 23 Sep 2020 10:29:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 13:17:31.629372
• Title: Implicit Regularization of Random Feature Models
• Title（参考訳）: ランダム特徴モデルの暗黙規則化
• Authors: Arthur Jacot, Berfin \c{S}im\c{s}ek, Francesco Spadaro, Cl\'ement Hongler, Franck Gabriel
• Abstract要約: ランダム特徴(RF)モデルとカーネルリッジ回帰(KRR)の関係について検討する。 平均RF予測器は有効リッジ$tildelambda$のKRR予測器に近いことを示す。 平均的な$lambda$-RF予測器と$tildelambda$-KRR予測器のテストエラーとの間には,極めてよい一致があることを実証的に見出した。
• 参考スコア（独自算出の注目度）: 10.739602293023058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random Feature (RF) models are used as efficient parametric approximations of kernel methods. We investigate, by means of random matrix theory, the connection between Gaussian RF models and Kernel Ridge Regression (KRR). For a Gaussian RF model with $P$ features, $N$ data points, and a ridge $\lambda$, we show that the average (i.e. expected) RF predictor is close to a KRR predictor with an effective ridge $\tilde{\lambda}$. We show that $\tilde{\lambda} > \lambda$ and $\tilde{\lambda} \searrow \lambda$ monotonically as $P$ grows, thus revealing the implicit regularization effect of finite RF sampling. We then compare the risk (i.e. test error) of the $\tilde{\lambda}$-KRR predictor with the average risk of the $\lambda$-RF predictor and obtain a precise and explicit bound on their difference. Finally, we empirically find an extremely good agreement between the test errors of the average $\lambda$-RF predictor and $\tilde{\lambda}$-KRR predictor.
• Abstract（参考訳）: ランダム特徴モデル(rf)はカーネル法の効率的なパラメトリック近似として用いられる。 本稿では,ランダム行列理論を用いて,ガウスRFモデルとケルネルリッジ回帰(KRR)の接続について検討する。 P$機能、$N$データポイント、およびリッジ$\lambda$を持つガウスのRFモデルの場合、平均(すなわち予想される)RF予測器は有効リッジ$\tilde{\lambda}$のKRR予測器に近いことを示す。 P$が大きくなるにつれて、$\tilde{\lambda} > \lambda$ と $\tilde{\lambda} \searrow \lambda$ は単調に成長し、有限RFサンプリングによる暗黙の正規化効果が明らかになる。 次に、$\tilde{\lambda}$-KRR予測器のリスク(すなわちテストエラー)と$\lambda$-RF予測器の平均リスクを比較し、それらの差の正確で明示的な境界を得る。 最後に、平均的な$\lambda$-RF予測器と$\tilde{\lambda}$-KRR予測器のテストエラーとの間に非常に良い一致があることを実証的に見出す。

関連論文リスト

• Variable Selection in Convex Piecewise Linear Regression [5.366354612549172]
  本稿では,凸片方向線形回帰における変数選択の解としてスパース勾配を提案する。 亜ガウス雑音下でのSpGDには非漸近局所収束解析が提供される。
  論文  参考訳（メタデータ） (2024-11-04T16:19:09Z)
• Asymptotics of Random Feature Regression Beyond the Linear Scaling Regime [22.666759017118796]
  機械学習の最近の進歩は、トレーニングデータの近くにトレーニングされた過度にパラメータ化されたモデルを使用することによって達成されている。 モデル複雑性と一般化はパラメータ数$p$にどのように依存するか? 特に、RFRRは近似と一般化パワーの直感的なトレードオフを示す。
  論文  参考訳（メタデータ） (2024-03-13T00:59:25Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
  この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。 特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
  論文  参考訳（メタデータ） (2023-09-17T01:45:13Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• Failure and success of the spectral bias prediction for Kernel Ridge Regression: the case of low-dimensional data [0.28647133890966986]
  一部のレジームでは、カーネルの固有基底上の真の関数 $f*$ を分解して、この方法がスペクトルバイアスを持つと予測している。 この予測は、画像などのベンチマークデータセットで非常にうまく機能するが、これらのアプローチがデータに対して行う仮定は、実際には満たされない。
  論文  参考訳（メタデータ） (2022-02-07T16:48:14Z)
• Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
  我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。 繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。 要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
  論文  参考訳（メタデータ） (2021-12-29T14:47:56Z)
• Generalization error of random features and kernel methods: hypercontractivity and kernel matrix concentration [19.78800773518545]
  特徴空間 $mathbb RN$ におけるリッジ回帰と併用したランダム特徴量法の利用について検討する。 これは、カーネルリッジ回帰(KRR)の有限次元近似、またはいわゆる遅延訓練体制におけるニューラルネットワークの様式化されたモデルと見なすことができる。
  論文  参考訳（メタデータ） (2021-01-26T06:46:41Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。