論文の概要: A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
- arxiv url: http://arxiv.org/abs/2404.05064v1
- Date: Sun, 7 Apr 2024 20:24:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 16:02:57.633806
- Title: A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
- Title（参考訳）: 浅部ReLUニューラルネットワークのための構造誘導型ガウスニュートン法
- Authors: Zhiqiang Cai, Tong Ding, Min Liu, Xinyu Liu, Jianlin Xia,
- Abstract要約: 浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。
目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
- 参考スコア（独自算出の注目度）: 18.06366638807982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a structure-guided Gauss-Newton (SgGN) method for solving least squares problems using a shallow ReLU neural network. The method effectively takes advantage of both the least squares structure and the neural network structure of the objective function. By categorizing the weights and biases of the hidden and output layers of the network as nonlinear and linear parameters, respectively, the method iterates back and forth between the nonlinear and linear parameters. The nonlinear parameters are updated by a damped Gauss-Newton method and the linear ones are updated by a linear solver. Moreover, at the Gauss-Newton step, a special form of the Gauss-Newton matrix is derived for the shallow ReLU neural network and is used for efficient iterations. It is shown that the corresponding mass and Gauss-Newton matrices in the respective linear and nonlinear steps are symmetric and positive definite under reasonable assumptions. Thus, the SgGN method naturally produces an effective search direction without the need of additional techniques like shifting in the Levenberg-Marquardt method to achieve invertibility of the Gauss-Newton matrix. The convergence and accuracy of the method are demonstrated numerically for several challenging function approximation problems, especially those with discontinuities or sharp transition layers that pose significant challenges for commonly used training algorithms in machine learning.
- Abstract（参考訳）: 本稿では,浅いReLUニューラルネットワークを用いて最小二乗問題を解く構造誘導型ガウスニュートン(SgGN)法を提案する。
目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
ネットワークの隠蔽層と出力層の重みとバイアスをそれぞれ非線形パラメータと線形パラメータとに分類することにより、非線形パラメータと線形パラメータの相互に反復する。
非線形パラメータは減衰ガウスニュートン法により更新され、線形パラメータは線形解法により更新される。
さらに、ガウス-ニュートンステップでは、浅いReLUニューラルネットワークに対してガウス-ニュートン行列の特別な形式が導出され、効率的な反復に使用される。
それぞれの線形および非線形ステップにおける対応する質量とガウス・ニュートン行列は、合理的な仮定の下で対称かつ正定値であることが示されている。
したがって、SgGN法は、ガウス・ニュートン行列の可逆性を達成するためにレバンス・マルカルト法のシフトのような追加のテクニックを必要とせずに、自然に有効な探索方向を生成する。
この手法の収束と精度は、いくつかの難解な関数近似問題、特に機械学習においてよく使われるトレーニングアルゴリズムに重要な課題をもたらす不連続性や急激な遷移層に対して数値的に証明される。
関連論文リスト
- Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。
IGDは線形収束速度で大域的に最適解を収束することを示す。
論文 参考訳（メタデータ） (2024-07-03T06:10:41Z) - Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。
適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。
また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文 参考訳（メタデータ） (2024-06-04T20:37:17Z) - Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。
本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。
本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2024-03-15T12:00:37Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-28T06:33:37Z) - A Randomised Subspace Gauss-Newton Method for Nonlinear Least-Squares [0.6445605125467572]
非線形最小二乗最適化問題を解くためにRandomized Subspace Gauss-Newton (R-SGN)アルゴリズムを提案する。
R-SGNの信頼領域変種に対して、収束結果の線形大域率を示す。
論文 参考訳（メタデータ） (2022-11-10T17:51:08Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-04-30T05:31:07Z) - Inverse Problem of Nonlinear Schr\"odinger Equation as Learning of
Convolutional Neural Network [5.676923179244324]
提案手法を用いて,パラメータの相対的精度を推定できることを示す。
深い学習を伴う偏微分方程式の逆問題における自然な枠組みを提供する。
論文 参考訳（メタデータ） (2021-07-19T02:54:37Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳（メタデータ） (2020-07-21T17:42:58Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。