論文の概要: Precise Asymptotic Analysis of Deep Random Feature Models
- arxiv url: http://arxiv.org/abs/2302.06210v1
- Date: Mon, 13 Feb 2023 09:30:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 16:05:48.351797
- Title: Precise Asymptotic Analysis of Deep Random Feature Models
- Title(参考訳): 深部ランダム特徴モデルの高精度漸近解析
- Authors: David Bosch, Ashkan Panahi, Babak Hassibi
- Abstract要約: 我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。
等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
- 参考スコア(独自算出の注目度): 37.35013316704277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide exact asymptotic expressions for the performance of regression by
an $L-$layer deep random feature (RF) model, where the input is mapped through
multiple random embedding and non-linear activation functions. For this
purpose, we establish two key steps: First, we prove a novel universality
result for RF models and deterministic data, by which we demonstrate that a
deep random feature model is equivalent to a deep linear Gaussian model that
matches it in the first and second moments, at each layer. Second, we make use
of the convex Gaussian Min-Max theorem multiple times to obtain the exact
behavior of deep RF models. We further characterize the variation of the
eigendistribution in different layers of the equivalent Gaussian model,
demonstrating that depth has a tangible effect on model performance despite the
fact that only the last layer of the model is being trained.
- Abstract(参考訳): 我々は,$l-$layer deep random feature (rf)モデルによる回帰性能の正確な漸近表現を提供し,入力は複数のランダム埋め込み関数と非線形活性化関数によってマッピングされる。
まず、rfモデルと決定論的データに対する新しい普遍性(universality results)を証明し、各層において、深いランダム特徴モデルが、第1および第2の瞬間に一致する深い線形ガウスモデルと等価であることを実証する。
第二に、深部RFモデルの正確な振る舞いを得るために、凸ガウスのMin-Max定理を複数回使います。
さらに、等価ガウスモデルの異なる層における固有分布の変動を特徴付け、モデルの最後の層のみが訓練されているにもかかわらず、モデルの性能に明らかな影響があることを実証する。
関連論文リスト
- Deep Latent Force Models: ODE-based Process Convolutions for Bayesian
Deep Learning [0.0]
深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。
我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。
DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
論文 参考訳(メタデータ) (2023-11-24T19:55:57Z) - Max-affine regression via first-order methods [7.12511675782289]
最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。
最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
論文 参考訳(メタデータ) (2023-08-15T23:46:44Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Double Descent in Random Feature Models: Precise Asymptotic Analysis for
General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。
我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文 参考訳(メタデータ) (2022-04-06T08:59:38Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-08T12:41:56Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization
without Compounding Errors [10.906666680425754]
我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
論文 参考訳(メタデータ) (2020-06-08T21:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。