論文の概要: Linear Stability Hypothesis and Rank Stratification for Nonlinear Models
- arxiv url: http://arxiv.org/abs/2211.11623v1
- Date: Mon, 21 Nov 2022 16:27:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 18:36:05.177145
- Title: Linear Stability Hypothesis and Rank Stratification for Nonlinear Models
- Title（参考訳）: 非線形モデルに対する線形安定仮説とランク階層化
- Authors: Yaoyu Zhang, Zhongwang Zhang, Leyang Zhang, Zhiwei Bai, Tao Luo,
Zhi-Qin John Xu
- Abstract要約: モデルランクを「パラメータの有効サイズ」として発見するための一般非線形モデルのためのランク階層化を提案する。
これらの結果から、目標関数のモデルランクは、その回復を成功させるために、最小限のトレーニングデータサイズを予測する。
- 参考スコア（独自算出の注目度）: 3.0041514772139166
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Models with nonlinear architectures/parameterizations such as deep neural
networks (DNNs) are well known for their mysteriously good generalization
performance at overparameterization. In this work, we tackle this mystery from
a novel perspective focusing on the transition of the target recovery/fitting
accuracy as a function of the training data size. We propose a rank
stratification for general nonlinear models to uncover a model rank as an
"effective size of parameters" for each function in the function space of the
corresponding model. Moreover, we establish a linear stability theory proving
that a target function almost surely becomes linearly stable when the training
data size equals its model rank. Supported by our experiments, we propose a
linear stability hypothesis that linearly stable functions are preferred by
nonlinear training. By these results, model rank of a target function predicts
a minimal training data size for its successful recovery. Specifically for the
matrix factorization model and DNNs of fully-connected or convolutional
architectures, our rank stratification shows that the model rank for specific
target functions can be much lower than the size of model parameters. This
result predicts the target recovery capability even at heavy
overparameterization for these nonlinear models as demonstrated quantitatively
by our experiments. Overall, our work provides a unified framework with
quantitative prediction power to understand the mysterious target recovery
behavior at overparameterization for general nonlinear models.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のような非線形アーキテクチャ/パラメータ化モデルでは、オーバーパラメータ化時の謎めいた優れた一般化性能が知られている。
本研究では,トレーニングデータサイズの関数として,目標回復/フィッティング精度の遷移に着目した新しい視点から,この謎に挑戦する。
一般非線形モデルに対するランク階層化を提案し,対応するモデルの関数空間における各関数の「パラメータの有効サイズ」としてモデルランクを明らかにする。
さらに,トレーニングデータサイズがモデルランクに等しくなると,対象関数がほぼ確実に線形安定になることを示す線形安定理論を確立する。
本研究では,線形安定関数が非線形訓練により好まれる線形安定関数仮説を提案する。
これらの結果により、対象関数のモデルランクは、回復に成功するための最小のトレーニングデータサイズを予測する。
具体的には,完全連結型あるいは畳み込み型アーキテクチャの行列分解モデルとDNNについて,対象関数のモデルランクがモデルパラメータよりもはるかに低いことを示す。
この結果は, これらの非線形モデルの過度パラメータ化においても, 目標回復能力を定量的に予測する。
本研究は,一般非線形モデルに対するオーバーパラメータ化時の謎の目標回復挙動を理解するために,定量的な予測力を備えた統一的なフレームワークを提供する。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。
リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
論文 参考訳（メタデータ） (2024-04-06T04:22:48Z) - Optimal Nonlinearities Improve Generalization Performance of Random
Features [0.9790236766474201]
非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。
ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。
最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-28T20:55:21Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Second-order regression models exhibit progressive sharpening to the
edge of stability [30.92413051155244]
2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。
より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
論文 参考訳（メタデータ） (2022-10-10T17:21:20Z) - Nonparametric Functional Analysis of Generalized Linear Models Under
Nonlinear Constraints [0.0]
本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。
これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。
これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
論文 参考訳（メタデータ） (2021-10-11T04:49:59Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳（メタデータ） (2020-12-21T06:40:20Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳（メタデータ） (2020-07-08T07:17:28Z) - Learning Stable Nonparametric Dynamical Systems with Gaussian Process
Regression [9.126353101382607]
データからガウス過程回帰に基づいて非パラメトリックリアプノフ関数を学習する。
非パラメトリック制御Lyapunov関数に基づく名目モデルの安定化は、トレーニングサンプルにおける名目モデルの挙動を変化させるものではないことを証明した。
論文 参考訳（メタデータ） (2020-06-14T11:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。