論文の概要: A stochastic optimization approach to train non-linear neural networks with a higher-order variation regularization

• arxiv url: http://arxiv.org/abs/2308.02293v2
• Date: Mon, 14 Aug 2023 05:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 18:42:05.474108
• Title: A stochastic optimization approach to train non-linear neural networks with a higher-order variation regularization
• Title（参考訳）: 高次変分正規化を用いた非線形ニューラルネットワークの確率的最適化
• Authors: Akifumi Okuno
• Abstract要約: 本研究は、$(k,q)$thorder variation regularization((k,q)$-VR)を考える。 $(k,q)$-VR は、訓練対象のパラメトリックモデルの絶対$k$次微分の$q$thパワー積分として定義される。 我々の数値実験は、従来のパラメータ正規化よりも、$(k,q)$-VRで訓練されたニューラルネットワークの方が弾力性が高いことを示した。
• 参考スコア（独自算出の注目度）: 3.0277213703725767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While highly expressive parametric models including deep neural networks have an advantage to model complicated concepts, training such highly non-linear models is known to yield a high risk of notorious overfitting. To address this issue, this study considers a $(k,q)$th order variation regularization ($(k,q)$-VR), which is defined as the $q$th-powered integral of the absolute $k$th order derivative of the parametric models to be trained; penalizing the $(k,q)$-VR is expected to yield a smoother function, which is expected to avoid overfitting. Particularly, $(k,q)$-VR encompasses the conventional (general-order) total variation with $q=1$. While the $(k,q)$-VR terms applied to general parametric models are computationally intractable due to the integration, this study provides a stochastic optimization algorithm, that can efficiently train general models with the $(k,q)$-VR without conducting explicit numerical integration. The proposed approach can be applied to the training of even deep neural networks whose structure is arbitrary, as it can be implemented by only a simple stochastic gradient descent algorithm and automatic differentiation. Our numerical experiments demonstrate that the neural networks trained with the $(k,q)$-VR terms are more ``resilient'' than those with the conventional parameter regularization. The proposed algorithm also can be extended to the physics-informed training of neural networks (PINNs).
• Abstract（参考訳）: ディープニューラルネットワークを含む高度に表現力のあるパラメトリックモデルは複雑な概念をモデル化するのに有利であるが、そのような高度に非線形なモデルの訓練は悪名高い過剰フィッティングのリスクをもたらすことが知られている。 この問題に対処するため、本研究では、トレーニング対象のパラメトリックモデルの絶対$k$th階微分の$q$th力による積分として定義される$(k,q)$th階変動正規化((k,q)$-vr)を考察する。 特に$(k,q)$-VRは、$q=1$の従来の(一般的な)全変動を含む。 一般パラメトリックモデルに適用される$(k,q)$-VR項は、積分により計算的に難解であるが、この研究は、(k,q)$-VRを明示的な数値積分を行なわずに効率的に一般モデルを訓練できる確率的最適化アルゴリズムを提供する。 提案手法は、単純な確率勾配降下アルゴリズムと自動微分のみで実装できるので、構造が任意である深いニューラルネットワークのトレーニングにも適用することができる。 我々の数値実験により、$(k,q)$-VRでトレーニングされたニューラルネットワークは、従来のパラメータ正規化よりも「レジリエント」であることが示された。 提案アルゴリズムは、ニューラルネットワーク(PINN)の物理インフォームドトレーニングにも拡張可能である。

関連論文リスト

• Imitation Learning of MPC with Neural Networks: Error Guarantees and Sparsification [5.260346080244568]
  本稿では,ニューラルネットワークを用いた模倣モデル予測制御系における近似誤差の有界化のためのフレームワークを提案する。 本稿では,この手法を用いて,性能保証付き安定型ニューラルネットワークコントローラを設計する方法について論じる。
  論文  参考訳（メタデータ） (2025-01-07T10:18:37Z)
• Outlier-Robust Training of Machine Learning Models [21.352210662488112]
  本稿では,外部学習を用いた機械学習モデルの学習のための適応交替アルゴリズムを提案する。 アルゴリズムは、各重みを更新しながら、非ロバスト損失の重み付きバージョンを使用してモデルを反復的に訓練する。 任意の外接点(すなわち、外接点に分布的な仮定がない)を考えると、ロバストな損失核のシグマの使用は収束の領域を増大させる。
  論文  参考訳（メタデータ） (2024-12-31T04:19:53Z)
• HERTA: A High-Efficiency and Rigorous Training Algorithm for Unfolded Graph Neural Networks [14.139047596566485]
  HERTAは、Unfolded GNNの高効率で厳格なトレーニングアルゴリズムである。 HERTAは元のモデルの最適値に収束し、アンフォールドGNNの解釈可能性を維持する。 HERTAの副産物として、正規化および正規化グラフラプラシアンに適用可能な新しいスペクトルスカラー化法を提案する。
  論文  参考訳（メタデータ） (2024-03-26T23:03:06Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Nonasymptotic theory for two-layer neural networks: Beyond the bias-variance trade-off [10.182922771556742]
  本稿では,ReLUアクティベーション機能を持つ2層ニューラルネットワークに対する漸近的一般化理論を提案する。 過度にパラメータ化されたランダムな特徴モデルは次元性の呪いに悩まされ、従って準最適であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T03:52:18Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。