論文の概要: Asymptotics of Ridge Regression in Convolutional Models
- arxiv url: http://arxiv.org/abs/2103.04557v1
- Date: Mon, 8 Mar 2021 05:56:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 15:56:45.068307
- Title: Asymptotics of Ridge Regression in Convolutional Models
- Title（参考訳）: 畳み込みモデルにおける尾根回帰の漸近
- Authors: Mojtaba Sahraee-Ardakan, Tung Mai, Anup Rao, Ryan Rossi, Sundeep
Rangan, Alyson K. Fletcher
- Abstract要約: 特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。
畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
- 参考スコア（独自算出の注目度）: 26.910291664252973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding generalization and estimation error of estimators for simple
models such as linear and generalized linear models has attracted a lot of
attention recently. This is in part due to an interesting observation made in
machine learning community that highly over-parameterized neural networks
achieve zero training error, and yet they are able to generalize well over the
test samples. This phenomenon is captured by the so called double descent
curve, where the generalization error starts decreasing again after the
interpolation threshold. A series of recent works tried to explain such
phenomenon for simple models. In this work, we analyze the asymptotics of
estimation error in ridge estimators for convolutional linear models. These
convolutional inverse problems, also known as deconvolution, naturally arise in
different fields such as seismology, imaging, and acoustics among others. Our
results hold for a large class of input distributions that include i.i.d.
features as a special case. We derive exact formulae for estimation error of
ridge estimators that hold in a certain high-dimensional regime. We show the
double descent phenomenon in our experiments for convolutional models and show
that our theoretical results match the experiments.
- Abstract（参考訳）: 近年,線形モデルや一般化線形モデルなどの単純モデルの一般化と推定誤差の理解が注目されている。
これは、高度にパラメータ化されたニューラルネットワークがトレーニングエラーをゼロにするが、テストサンプルをうまく一般化できるという、機械学習コミュニティの興味深い観察によるものだ。
この現象はいわゆる二重降下曲線によって捉えられ、補間しきい値の後に一般化誤差が再び減少し始める。
最近の研究では、このような現象を単純なモデルに説明しようと試みた。
本研究では、畳み込み線形モデルのためのリッジ推定器における推定誤差の漸近性を分析する。
これらの畳み込み逆問題(deconvolution inverse problem, deconvolution)は、地震学、イメージング、音響学など様々な分野において自然発生する。
私たちの結果は、i.d.を含む入力分布の大規模なクラスに当てはまる。
特別な場合として特徴。
特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。
畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
関連論文リスト
- Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off [0.0]
データサイエンスの中心的な問題は、潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することである。
一般化エイリアス分解(GAD)と呼ばれる代替パラダイムを導入する。
GADは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算することができる。
論文 参考訳（メタデータ） (2024-08-15T17:49:24Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Analysis of Interpolating Regression Models and the Double Descent
Phenomenon [3.883460584034765]
ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。
得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。
回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
論文 参考訳（メタデータ） (2023-04-17T09:44:33Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:39:18Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Model, sample, and epoch-wise descents: exact solution of gradient flow
in the random feature model [16.067228939231047]
勾配流下での一般化および訓練誤差の全時間的挙動を解析する。
システムサイズが大きければ、両方のエラーの完全な時間進化経路を解析的に計算できることが示される。
我々の手法は、線形鉛筆に基づく最近のランダム行列法とともに、誤差のコーシー複素積分表現に基づいている。
論文 参考訳（メタデータ） (2021-10-22T14:25:54Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Generalization Error of Generalized Linear Models in High Dimensions [25.635225717360466]
任意の非線形性を持つニューラルネットワークを特徴付けるためのフレームワークを提供する。
正規ロジスティック回帰が学習に与える影響を解析する。
また,本モデルでは,特別事例の学習と配布の事例も捉えている。
論文 参考訳（メタデータ） (2020-05-01T02:17:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。