論文の概要: Layerwise Sparsifying Training and Sequential Learning Strategy for
Neural Architecture Adaptation
- arxiv url: http://arxiv.org/abs/2211.06860v1
- Date: Sun, 13 Nov 2022 09:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 20:02:19.583961
- Title: Layerwise Sparsifying Training and Sequential Learning Strategy for
Neural Architecture Adaptation
- Title(参考訳): 階層的スペーシングトレーニングとニューラルネットワーク適応のための逐次学習戦略
- Authors: C G Krishnanunni and Tan Bui-Thanh
- Abstract要約: この研究は、与えられたトレーニングデータセットに順応し、一般化するために、ニューラルネットワークを開発するための2段階のフレームワークを提示します。
第1段階では、新しい層を毎回追加し、前層の凍結パラメータによって独立に訓練する、多様体規則化層ワイズトレーニングアプローチを採用する。
第2の段階では、第1の段階で生成された残余から情報を抽出するために、一連の小ネットワークを用いるシーケンシャルな学習プロセスを採用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a two-stage framework for progressively developing neural
architectures to adapt/ generalize well on a given training data set. In the
first stage, a manifold-regularized layerwise sparsifying training approach is
adopted where a new layer is added each time and trained independently by
freezing parameters in the previous layers. In order to constrain the functions
that should be learned by each layer, we employ a sparsity regularization term,
manifold regularization term and a physics-informed term. We derive the
necessary conditions for trainability of a newly added layer and analyze the
role of manifold regularization. In the second stage of the Algorithm, a
sequential learning process is adopted where a sequence of small networks is
employed to extract information from the residual produced in stage I and
thereby making robust and more accurate predictions. Numerical investigations
with fully connected network on prototype regression problem, and
classification problem demonstrate that the proposed approach can outperform
adhoc baseline networks. Further, application to physics-informed neural
network problems suggests that the method could be employed for creating
interpretable hidden layers in a deep network while outperforming equivalent
baseline networks.
- Abstract(参考訳): この研究は、与えられたトレーニングデータセットにうまく適応し、一般化するために、段階的に神経アーキテクチャを開発するための2段階のフレームワークを提供する。
第1段階では、新しい層を毎回追加し、前層のパラメータを凍結して独立にトレーニングする、多様体正規化層分割トレーニングアプローチが採用される。
各層で学習すべき関数を制限するために、スパーシティ正規化項、多様体正規化項、物理学的不定化項を用いる。
新たに追加された層のトレーサビリティに必要な条件を導出し,多様体の正則化の役割を解析した。
アルゴリズムの第2段階では、一連の小さなネットワークを用いて、ステージIで生成された残余情報から情報を抽出し、堅牢で正確な予測を行うシーケンシャルな学習プロセスが採用されている。
プロトタイプ回帰問題と分類問題に関する完全連結ネットワークを用いた数値解析により,提案手法がアドホックベースラインネットワークより優れていることを示す。
さらに、物理に変形しないニューラルネットワーク問題への応用は、同値なベースラインネットワークを上回りながら、深層ネットワーク内の解釈可能な隠れ層を作成するのにこの手法が用いられることを示唆する。
関連論文リスト
- Adaptive Depth Networks with Skippable Sub-Paths [2.1756081703276]
適応深度ネットワークのためのアーキテクチャパターンとトレーニング手法を提案する。
我々のアプローチは、固定されたサブネットワークの集合を反復的に自沈させず、結果としてトレーニング時間が大幅に短縮される。
提案するアーキテクチャパターンとトレーニング手法が全体的な予測誤差を低減できる理由を, 公式な根拠として提示する。
論文 参考訳(メタデータ) (2023-12-27T03:43:38Z) - Hidden Classification Layers: Enhancing linear separability between
classes in neural networks layers [0.0]
トレーニング手法の深層ネットワーク性能への影響について検討する。
本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-09T10:52:49Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳(メタデータ) (2023-05-11T17:19:30Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳(メタデータ) (2022-06-05T08:49:16Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳(メタデータ) (2022-01-28T05:26:32Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳(メタデータ) (2021-11-02T20:24:01Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Supervised Learning with First-to-Spike Decoding in Multilayer Spiking
Neural Networks [0.0]
本稿では,多層スパイキングニューラルネットワークを学習して分類問題を解くための教師あり学習手法を提案する。
提案した学習規則は、隠れニューロンが発する複数のスパイクをサポートし、決定論的出力層によって生成された最初のスパイク応答に依存することにより安定である。
また、入力データのコンパクト表現を形成するために、いくつかの異なるスパイクベースの符号化戦略についても検討する。
論文 参考訳(メタデータ) (2020-08-16T15:34:48Z) - AL2: Progressive Activation Loss for Learning General Representations in
Classification Neural Networks [12.14537824884951]
本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。
本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
論文 参考訳(メタデータ) (2020-03-07T18:38:46Z) - Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文 参考訳(メタデータ) (2020-02-17T18:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。