Fugu-MT 論文翻訳(概要): Minimum norm interpolation by perceptra: Explicit regularization and implicit bias

論文の概要: Minimum norm interpolation by perceptra: Explicit regularization and implicit bias

arxiv url: http://arxiv.org/abs/2311.06138v1
Date: Fri, 10 Nov 2023 15:55:47 GMT
ステータス: 処理完了
システム内更新日: 2023-11-13 14:39:54.106028
Title: Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Title（参考訳）: 知覚による最小ノルム補間:明示正規化と暗黙バイアス
Authors: Jiyoung Park, Ian Pelakh, Stephan Wojtowytsch
Abstract要約: 本稿では,ReLUネットワークが既知領域間でどのように相互接続するかを検討する。我々は、既知の最小ノルム補間子に対する共通最適化アルゴリズムの暗黙バイアスを数値的に研究する。
参考スコア（独自算出の注目度）: 0.3499042782396683
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We investigate how shallow ReLU networks interpolate between known regions. Our analysis shows that empirical risk minimizers converge to a minimum norm interpolant as the number of data points and parameters tends to infinity when a weight decay regularizer is penalized with a coefficient which vanishes at a precise rate as the network width and the number of data points grow. With and without explicit regularization, we numerically study the implicit bias of common optimization algorithms towards known minimum norm interpolants.
Abstract（参考訳）: 本研究では,既知領域間における浅層reluネットワークの相互干渉について検討する。本研究では,重み減衰正規化器がネットワーク幅とデータ点数の増加に伴って正確な速度で消滅する係数でペナルティ化されると,データ点数とパラメータが無限大になるため,経験的リスク最小化器は最小のノルム補間値に収束することを示す。明示的な正則化がなければ、既知の最小ノルム補間に対する共通最適化アルゴリズムの暗黙のバイアスを数値的に研究する。

関連論文リスト

Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
論文参考訳（メタデータ） (2024-06-20T02:23:28Z)
Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
論文参考訳（メタデータ） (2023-06-14T11:02:08Z)
Penalising the biases in norm regularisation enforces sparsity [28.86954341732928]
この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
論文参考訳（メタデータ） (2023-03-02T15:33:18Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文参考訳（メタデータ） (2021-07-05T21:05:11Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
On the robustness of minimum-norm interpolators [0.0]
本稿では,線形モデルにおける最小ノルム補間推定器に関する一般理論を,加法的,潜在的に対角的,誤差の存在下で展開する。誤差の最小ノルム補間子のラデマッハノルムと、真のパラメータの周りの部分微分の形状に関する、予測誤差の定量的境界が与えられる。
論文参考訳（メタデータ） (2020-12-01T20:03:20Z)
Asymptotic convergence rate of Dropout on shallow linear neural networks [0.0]
本研究では, 微小線形ニューラルネットワークに適用する場合に, ドロップアウトとドロップコネクションによって誘導される目的関数の収束度を解析する。我々は、勾配流の局所収束証明と、そのデータ、レート確率、NNの幅に依存する速度のバウンダリを得る。
論文参考訳（メタデータ） (2020-12-01T19:02:37Z)
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。