論文の概要: Optimal Activation Functions for the Random Features Regression Model

• arxiv url: http://arxiv.org/abs/2206.01332v3
• Date: Fri, 24 Mar 2023 18:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:22:56.794404
• Title: Optimal Activation Functions for the Random Features Regression Model
• Title（参考訳）: ランダム特徴回帰モデルのための最適活性化関数
• Authors: Jianxin Wang and Jos\'e Bento
• Abstract要約: 我々は、ランダム特徴回帰モデルのテストエラーと感度の組合せを最小化する、アクティベーション関数ファミリー(AF)をクローズド形式で識別する。 最適AFSの使用がRFRモデルの確立された特性にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 7.381113319198103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The asymptotic mean squared test error and sensitivity of the Random Features Regression model (RFR) have been recently studied. We build on this work and identify in closed-form the family of Activation Functions (AFs) that minimize a combination of the test error and sensitivity of the RFR under different notions of functional parsimony. We find scenarios under which the optimal AFs are linear, saturated linear functions, or expressible in terms of Hermite polynomials. Finally, we show how using optimal AFs impacts well-established properties of the RFR model, such as its double descent curve, and the dependency of its optimal regularization parameter on the observation noise level.
• Abstract（参考訳）: 近年,ランダム特徴回帰モデル(rfr)の漸近的平均二乗検定誤差と感度が研究されている。 我々はこの研究に基づいて、異なる関数parsimonyの概念の下でrfrのテストエラーと感度の組み合わせを最小化するアクティベーション関数ファミリー(afs)をクローズドフォームで特定する。 最適afsが線形、飽和線型関数、あるいはエルミート多項式を用いて表現可能なシナリオを見いだす。 最後に, 最適afsの利用が, 二重降下曲線などのrfrモデルの確立した特性や, 観測騒音レベルに対する最適正規化パラメータの依存性にどのように影響するかを示す。

関連論文リスト

• Optimal Nonlinearities Improve Generalization Performance of Random Features [0.9790236766474201]
  非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。 ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。 最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-28T20:55:21Z)
• Nonparametric estimation of a covariate-adjusted counterfactual treatment regimen response curve [2.7446241148152253]
  治療体制下での平均結果を柔軟に推定することは、パーソナライズされた医療にとって重要なステップである。 本研究では,スムーズな規則応答曲線関数の逆確率重み付き非パラメトリック効率推定器を提案する。 いくつかの有限サンプル特性はシミュレーションによって探索される。
  論文  参考訳（メタデータ） (2023-09-28T01:46:24Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• On High dimensional Poisson models with measurement error: hypothesis testing for nonlinear nonconvex optimization [13.369004892264146]
  我々は高次元の回帰モデルの推定と検証を行い、データ解析に広く応用する。 ペナル化された一貫性を最小化することで回帰パラメータを推定する。 提案手法はアルツハイマー病イニシアチブに適用される。
  論文  参考訳（メタデータ） (2022-12-31T06:58:42Z)
• Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
  関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。 このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
  論文  参考訳（メタデータ） (2022-08-10T19:17:45Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
  ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。 我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。 得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
  論文  参考訳（メタデータ） (2020-11-03T09:46:31Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。