論文の概要: Improving Neural Network Training using Dynamic Learning Rate Schedule for PINNs and Image Classification

• arxiv url: http://arxiv.org/abs/2507.21749v1
• Date: Tue, 29 Jul 2025 12:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.252517
• Title: Improving Neural Network Training using Dynamic Learning Rate Schedule for PINNs and Image Classification
• Title（参考訳）: PINNのための動的学習率スケジュールと画像分類を用いたニューラルネットワークトレーニングの改善
• Authors: D. Veerababu, Ashwin A. Raikar, Prasanta K. Ghosh,
• Abstract要約: 本稿では,学習過程における損失値に基づいて学習率を適応する動的学習率スケジューラ(DLRS)アルゴリズムを提案する。 物理インフォームドニューラルネットワーク(PINN)と画像分類に関する問題に対して,多層パーセプトロンと畳み込みニューラルネットワークを用いた実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training neural networks can be challenging, especially as the complexity of the problem increases. Despite using wider or deeper networks, training them can be a tedious process, especially if a wrong choice of the hyperparameter is made. The learning rate is one of such crucial hyperparameters, which is usually kept static during the training process. Learning dynamics in complex systems often requires a more adaptive approach to the learning rate. This adaptability becomes crucial to effectively navigate varying gradients and optimize the learning process during the training process. In this paper, a dynamic learning rate scheduler (DLRS) algorithm is presented that adapts the learning rate based on the loss values calculated during the training process. Experiments are conducted on problems related to physics-informed neural networks (PINNs) and image classification using multilayer perceptrons and convolutional neural networks, respectively. The results demonstrate that the proposed DLRS accelerates training and improves stability.
• Abstract（参考訳）: ニューラルネットワークのトレーニングは、特に問題の複雑さが増大するにつれて、難しい場合がある。 より広いネットワークやより深いネットワークを使用しても、特にハイパーパラメータの間違った選択を行う場合、トレーニングは面倒なプロセスになる可能性がある。 学習速度はそのような重要なハイパーパラメータの1つであり、通常はトレーニングプロセス中に静的に保持される。 複雑なシステムにおける力学の学習には、学習率に対する適応的なアプローチが必要となることが多い。 この適応性は、様々な勾配を効果的にナビゲートし、トレーニングプロセス中に学習プロセスを最適化するために重要である。 本稿では,学習過程における損失値に基づいて学習率を適応させる動的学習率スケジューラ(DLRS)アルゴリズムを提案する。 物理インフォームドニューラルネットワーク(PINN)と画像分類に関する問題に対して,多層パーセプトロンと畳み込みニューラルネットワークを用いた実験を行った。 その結果,DLRSはトレーニングを加速し,安定性を向上することが示された。

関連論文リスト

• HiPreNets: High-Precision Neural Networks through Progressive Training [1.5429976366871665]
  我々は、HiPreNets(HiPreNets)のチューニングと高精度ニューラルネットワークのためのフレームワークを提案する。 我々のアプローチは、ニューラルネットワークの以前に検討されたトレーニングテクニックを洗練します。 選択損失関数数パラメーターを導出するために,残差の構造を利用する方法について議論する。
  論文  参考訳（メタデータ） (2025-06-18T02:12:24Z)
• Leveraging chaos in the training of artificial neural networks [3.379574469735166]
  従来とは違って大きな学習率のトレーニングに沿って、ニューラルネットワークの軌道のダイナミクスを探求する。 学習率の値の領域において、GD最適化は純粋に活用可能なアルゴリズムから探索・探索バランスの体制へと移行することを示す。
  論文  参考訳（メタデータ） (2025-06-10T07:41:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Edge of chaos as a guiding principle for modern neural network training [19.419382003562976]
  ニューラルネットワーク学習アルゴリズムにおける様々なハイパーパラメータの役割を秩序-カオス位相図を用いて検討する。 特に、広く採用されているFashion-MNISTデータセットに基づいて、完全に解析的なフィードフォワードニューラルネットワークについて検討する。
  論文  参考訳（メタデータ） (2021-07-20T12:17:55Z)
• Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling [7.859988850911321]
  Sparse Meta Networksは、ディープニューラルネットワークのオンラインシーケンシャル適応アルゴリズムを学習するためのメタ学習アプローチである。 層固有の高速メモリでディープニューラルネットワークを強化する。 様々な逐次適応シナリオにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2020-09-03T17:06:52Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Gradient-only line searches to automatically determine learning rates for a variety of stochastic training algorithms [0.0]
  Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。 GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
  論文  参考訳（メタデータ） (2020-06-29T08:59:31Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。