論文の概要: Neural Network Training Techniques Regularize Optimization Trajectory: An Empirical Study

• arxiv url: http://arxiv.org/abs/2011.06702v1
• Date: Fri, 13 Nov 2020 00:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:37:16.271811
• Title: Neural Network Training Techniques Regularize Optimization Trajectory: An Empirical Study
• Title（参考訳）: 最適化軌道の正規化のためのニューラルネットワークトレーニング技術 : 実証的研究
• Authors: Cheng Chen, Junjie Yang, Yi Zhou
• Abstract要約: 現代のディープニューラルネットワーク(DNN)トレーニングでは、非線形アクティベーション関数、バッチ正規化、スキップ接続など、さまざまなトレーニングテクニックが使用されている。 モデル更新方向を軌道方向と整合させる一定の規則性原理を一貫して従っていることを示す。 経験的に、トレーニング手法を適用したDNNトレーニングは、高速収束を実現し、大きな正規化パラメータを持つ正則性原理に従うことが分かり、モデル更新が軌道に適切に整合していることが示唆された。
• 参考スコア（独自算出の注目度）: 17.9739959287894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural network (DNN) trainings utilize various training techniques, e.g., nonlinear activation functions, batch normalization, skip-connections, etc. Despite their effectiveness, it is still mysterious how they help accelerate DNN trainings in practice. In this paper, we provide an empirical study of the regularization effect of these training techniques on DNN optimization. Specifically, we find that the optimization trajectories of successful DNN trainings consistently obey a certain regularity principle that regularizes the model update direction to be aligned with the trajectory direction. Theoretically, we show that such a regularity principle leads to a convergence guarantee in nonconvex optimization and the convergence rate depends on a regularization parameter. Empirically, we find that DNN trainings that apply the training techniques achieve a fast convergence and obey the regularity principle with a large regularization parameter, implying that the model updates are well aligned with the trajectory. On the other hand, DNN trainings without the training techniques have slow convergence and obey the regularity principle with a small regularization parameter, implying that the model updates are not well aligned with the trajectory. Therefore, different training techniques regularize the model update direction via the regularity principle to facilitate the convergence.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)トレーニングでは、非線形アクティベーション関数、バッチ正規化、スキップ接続など、さまざまなトレーニング技術を使用している。 効果はあるものの、実際にDNNの訓練を加速させるのにどう役立つのかはまだ謎だ。 本稿では,DNN最適化におけるこれらのトレーニング手法の正規化効果に関する実証的研究を行う。 具体的には、成功したDNN訓練の最適化軌道は、軌道方向に合わせてモデルの更新方向を規則化する一定の規則性原理に一貫して従っている。 理論的には、そのような正規性原理は非凸最適化において収束保証をもたらし、収束率は正規化パラメータに依存する。 経験的に、トレーニング手法を適用したDNNトレーニングは、高速収束を実現し、大きな正規化パラメータを持つ正則性原理に従うことにより、モデル更新が軌道に適切に整合していることを示す。 一方,DNNトレーニングではトレーニング手法を使わず,規則性原理に従えば,モデル更新が軌道に整合していないことが示唆される。 したがって、異なる訓練技法は、収束を容易にするために正規性原理を介してモデル更新方向を定式化する。

関連論文リスト

• Alternate Training of Shared and Task-Specific Parameters for Multi-Task Neural Networks [49.1574468325115]
  本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。 提案した代替トレーニング手法は、モデルのマルチヘッドアーキテクチャを利用して、共有およびタスク固有の重みを交互に更新する。 実証実験では、遅延オーバーフィッティング、予測の改善、計算要求の削減が示されている。
  論文  参考訳（メタデータ） (2023-12-26T21:33:03Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks [3.6280929178575994]
  本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。 提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-09T12:15:38Z)
• TO-FLOW: Efficient Continuous Normalizing Flows with Temporal Optimization adjoint with Moving Speed [12.168241245313164]
  連続正規化フロー (CNFs) は任意の複素分布と等方ガウス分布の間の可逆写像を構成する。 ニューラルODEトレーニングの複雑さが増しているため、大規模なデータセットでは処理できない。 本稿では,ニューラル・オード・トレーニングの前方伝播の進化時間を最適化し,時間的最適化を提案する。
  論文  参考訳（メタデータ） (2022-03-19T14:56:41Z)
• On feedforward control using physics-guided neural networks: Training cost regularization and optimized initialization [0.0]
  モデルベースのフィードフォワードコントローラの性能は、典型的には逆システム力学モデルの精度によって制限される。 本稿では,特定物理パラメータを用いた正規化手法を提案する。 実生活の産業用リニアモーターで検証され、追跡精度と外挿の精度が向上する。
  論文  参考訳（メタデータ） (2022-01-28T12:51:25Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。