論文の概要: Parallel Trust-Region Approaches in Neural Network Training: Beyond Traditional Methods

• arxiv url: http://arxiv.org/abs/2312.13677v1
• Date: Thu, 21 Dec 2023 09:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:27:22.257421
• Title: Parallel Trust-Region Approaches in Neural Network Training: Beyond Traditional Methods
• Title（参考訳）: ニューラルネットワークトレーニングにおける並列信頼領域アプローチ--従来の方法を超えて
• Authors: Ken Trotti, Samuel A. Cruz Alegr\'ia, Alena Kopani\v{c}\'akov\'a, Rolf Krause
• Abstract要約: 我々は、追加事前条件付き信頼地域戦略(APTS)の新たな変種を用いてニューラルネットワーク(NN)を訓練することを提案する。 提案手法は,ニューラルネットワークのパラメータに適用した並列化可能な付加的ドメイン分解手法に基づく。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose to train neural networks (NNs) using a novel variant of the ``Additively Preconditioned Trust-region Strategy'' (APTS). The proposed method is based on a parallelizable additive domain decomposition approach applied to the neural network's parameters. Built upon the TR framework, the APTS method ensures global convergence towards a minimizer. Moreover, it eliminates the need for computationally expensive hyper-parameter tuning, as the TR algorithm automatically determines the step size in each iteration. We demonstrate the capabilities, strengths, and limitations of the proposed APTS training method by performing a series of numerical experiments. The presented numerical study includes a comparison with widely used training methods such as SGD, Adam, LBFGS, and the standard TR method.
• Abstract（参考訳）: 本稿では,<APTS>(Additively Preconditioned Trust- Region Strategy')の新たな変種を用いてニューラルネットワーク(NN)を訓練することを提案する。 提案手法は,ニューラルネットワークのパラメータに適用した並列化可能な付加的ドメイン分解手法に基づく。 TRフレームワーク上に構築されたAPTS法は、最小化器へのグローバル収束を保証する。 さらに、TRアルゴリズムが各イテレーションのステップサイズを自動的に決定するので、計算コストのかかるハイパーパラメータチューニングは不要である。 本稿では,一連の数値実験を行うことにより,提案手法の能力,強度,限界を実証する。 本研究は,SGD,Adam,LBFGS,標準TR法など,広く使用されているトレーニング手法との比較を含む。

関連論文リスト

• A Neural Network Training Method Based on Distributed PID Control [0.0]
  前回の記事では、対称微分方程式に基づくニューラルネットワークフレームワークを紹介した。 そこで本研究では,チェーンルールの導出ではなく,微分方程式信号の伝搬を利用した学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T19:25:26Z)
• Learning by the F-adjoint [0.0]
  本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。 我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-07-08T13:49:25Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• A Simple and Efficient Stochastic Rounding Method for Training Neural Networks in Low Precision [0.0]
  ニューラルネットワーク(NN)のトレーニングにおいて,従来型ラウンドリング(CSR)が広く用いられている 本稿では, 簡易かつ効率的な丸め方式を提案する。 提案手法は16ビット固定点数によるnnの訓練に成功している。
  論文  参考訳（メタデータ） (2021-03-24T18:47:03Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training [12.755664985045582]
  本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。 提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T01:05:12Z)
• Tune smarter not harder: A principled approach to tuning learning rates for shallow nets [13.203765985718201]
  浅いフィードフォワードニューラルネットワークに対して,学習率を選択するための原則的アプローチを提案する。 シミュレーションにより,提案手法が既存のチューニング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-22T09:38:35Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
  オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。 我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
  論文  参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。