Fugu-MT 論文翻訳(概要): Asymptotic Optimism of Random-Design Linear and Kernel Regression Models

論文の概要: Asymptotic Optimism of Random-Design Linear and Kernel Regression Models

arxiv url: http://arxiv.org/abs/2502.12999v1
Date: Tue, 18 Feb 2025 16:19:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:07:44.729110
Title: Asymptotic Optimism of Random-Design Linear and Kernel Regression Models
Title（参考訳）: ランダム設計線形およびカーネル回帰モデルの漸近的最適化
Authors: Hengrui Luo, Yunzhang Zhu,
Abstract要約: ランダムな設計の下で線形回帰モデルの閉形式最適化を導出した。本研究では,線形回帰モデル,タンジェントカーネル(NTK)回帰モデル,三層完全連結ニューラルネットワークの基本的挙動について検討した。
参考スコア（独自算出の注目度）: 7.427792573157871
License:
Abstract: We derived the closed-form asymptotic optimism of linear regression models under random designs, and generalizes it to kernel ridge regression. Using scaled asymptotic optimism as a generic predictive model complexity measure, we studied the fundamental different behaviors of linear regression model, tangent kernel (NTK) regression model and three-layer fully connected neural networks (NN). Our contribution is two-fold: we provided theoretical ground for using scaled optimism as a model predictive complexity measure; and we show empirically that NN with ReLUs behaves differently from kernel models under this measure. With resampling techniques, we can also compute the optimism for regression models with real data.
Abstract（参考訳）: ランダムな設計の下で線形回帰モデルの閉形式漸近楽観性を導出し、カーネルリッジ回帰に一般化する。本研究では, 線形回帰モデル, タンジェントカーネル(NTK)回帰モデル, 3層完全連結ニューラルネットワーク(NN)の基本的な挙動について検討した。我々の貢献は2つあり、我々はスケールされた楽観主義をモデル予測複雑性尺度として使用する理論的根拠を提供し、この尺度の下では、ReLUを持つNNがカーネルモデルとは異なる振る舞いをすることを示す。再サンプリング手法を用いることで、実データによる回帰モデルに対する最適化を計算できる。

関連論文リスト

Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文参考訳（メタデータ） (2024-03-27T21:18:43Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks [0.0]
本稿では,ネットワーク重みを階層的に表した2層ニューラルネットワークモデル構造を用いた非線形ロジスティック回帰手法を提案する。私は計算効率のよいアルゴリズムを導き出し、その複雑さは独立したスパースロジスティックモデルの集合と同様にスケールする。
論文参考訳（メタデータ） (2023-03-02T19:09:47Z)
Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文参考訳（メタデータ） (2021-06-24T01:40:17Z)
Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-08T12:41:56Z)
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization [34.235007566913396]
現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
論文参考訳（メタデータ） (2020-08-15T20:55:40Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
論文参考訳（メタデータ） (2020-03-25T03:08:41Z)
Learning CHARME models with neural networks [1.5362025549031046]
我々はCHARME(Conditional Heteroscedastic Autoregressive Mixture of Experts)と呼ばれるモデルを考える。そこで本研究では,NNに基づく自己回帰関数の学習理論を開発した。
論文参考訳（メタデータ） (2020-02-08T21:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。