論文の概要: Layerwise Sparsifying Training and Sequential Learning Strategy for Neural Architecture Adaptation

• arxiv url: http://arxiv.org/abs/2211.06860v1
• Date: Sun, 13 Nov 2022 09:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 20:02:19.583961
• Title: Layerwise Sparsifying Training and Sequential Learning Strategy for Neural Architecture Adaptation
• Title（参考訳）: 階層的スペーシングトレーニングとニューラルネットワーク適応のための逐次学習戦略
• Authors: C G Krishnanunni and Tan Bui-Thanh
• Abstract要約: この研究は、与えられたトレーニングデータセットに順応し、一般化するために、ニューラルネットワークを開発するための2段階のフレームワークを提示します。 第1段階では、新しい層を毎回追加し、前層の凍結パラメータによって独立に訓練する、多様体規則化層ワイズトレーニングアプローチを採用する。 第2の段階では、第1の段階で生成された残余から情報を抽出するために、一連の小ネットワークを用いるシーケンシャルな学習プロセスを採用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a two-stage framework for progressively developing neural architectures to adapt/ generalize well on a given training data set. In the first stage, a manifold-regularized layerwise sparsifying training approach is adopted where a new layer is added each time and trained independently by freezing parameters in the previous layers. In order to constrain the functions that should be learned by each layer, we employ a sparsity regularization term, manifold regularization term and a physics-informed term. We derive the necessary conditions for trainability of a newly added layer and analyze the role of manifold regularization. In the second stage of the Algorithm, a sequential learning process is adopted where a sequence of small networks is employed to extract information from the residual produced in stage I and thereby making robust and more accurate predictions. Numerical investigations with fully connected network on prototype regression problem, and classification problem demonstrate that the proposed approach can outperform adhoc baseline networks. Further, application to physics-informed neural network problems suggests that the method could be employed for creating interpretable hidden layers in a deep network while outperforming equivalent baseline networks.
• Abstract（参考訳）: この研究は、与えられたトレーニングデータセットにうまく適応し、一般化するために、段階的に神経アーキテクチャを開発するための2段階のフレームワークを提供する。 第1段階では、新しい層を毎回追加し、前層のパラメータを凍結して独立にトレーニングする、多様体正規化層分割トレーニングアプローチが採用される。 各層で学習すべき関数を制限するために、スパーシティ正規化項、多様体正規化項、物理学的不定化項を用いる。 新たに追加された層のトレーサビリティに必要な条件を導出し,多様体の正則化の役割を解析した。 アルゴリズムの第2段階では、一連の小さなネットワークを用いて、ステージIで生成された残余情報から情報を抽出し、堅牢で正確な予測を行うシーケンシャルな学習プロセスが採用されている。 プロトタイプ回帰問題と分類問題に関する完全連結ネットワークを用いた数値解析により,提案手法がアドホックベースラインネットワークより優れていることを示す。 さらに、物理に変形しないニューラルネットワーク問題への応用は、同値なベースラインネットワークを上回りながら、深層ネットワーク内の解釈可能な隠れ層を作成するのにこの手法が用いられることを示唆する。

関連論文リスト

• Topological derivative approach for deep neural network architecture adaptation [0.6144680854063939]
  この研究は、深度に沿ってニューラルネットワークアーキテクチャを段階的に適応させる新しいアルゴリズムを提案する。 本稿では, 形状関数の最適条件が, 深部神経アーキテクチャ適応の固有値問題につながることを示す。 提案手法は,新しい層を挿入する必要がある深さに最も敏感な位置を決定する。
  論文  参考訳（メタデータ） (2025-02-08T23:01:07Z)
• Finite Element Neural Network Interpolation. Part I: Interpretable and Adaptive Discretization for Solving PDEs [44.99833362998488]
  組込み有限要素ニューラルネットワーク(EFENN)における従来の研究を拡張したスパースニューラルネットワークアーキテクチャを提案する。 EFENNはメッシュベースの構造であるため、完全に接続されたニューラルネットワークよりもトレーニング可能なパラメータをはるかに少なくする必要がある。 EFENNフレームワーク内のFENNIフレームワークは、HiDeNNアプローチの改善をもたらします。
  論文  参考訳（メタデータ） (2024-12-07T18:31:17Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
  深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。 提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。 数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T04:12:55Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• The duality structure gradient descent algorithm: analysis and applications to neural networks [0.0]
  本稿では,非漸近的性能解析に寄与する双対構造勾配降下法(DSGD)を提案する。 いくつかのニューラルネットワークトレーニングシナリオにおいて,DSGDの動作を実証的に示す。
  論文  参考訳（メタデータ） (2017-08-01T21:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。