論文の概要: Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation

• arxiv url: http://arxiv.org/abs/2006.02655v1
• Date: Thu, 4 Jun 2020 06:07:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 09:07:06.560431
• Title: Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation
• Title（参考訳）: ネットワーク認識適応による深部繰り返しニューラルネットワークの神経進化的伝達学習
• Authors: AbdElRahman ElSaid, Joshua Karns, Alexander Ororbia II, Daniel Krutz, Zimeng Lyu, Travis Desell
• Abstract要約: 本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
• 参考スコア（独自算出の注目度）: 57.46377517266827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning entails taking an artificial neural network (ANN) that is trained on a source dataset and adapting it to a new target dataset. While this has been shown to be quite powerful, its use has generally been restricted by architectural constraints. Previously, in order to reuse and adapt an ANN's internal weights and structure, the underlying topology of the ANN being transferred across tasks must remain mostly the same while a new output layer is attached, discarding the old output layer's weights. This work introduces network-aware adaptive structure transfer learning (N-ASTL), an advancement over prior efforts to remove this restriction. N-ASTL utilizes statistical information related to the source network's topology and weight distribution in order to inform how new input and output neurons are to be integrated into the existing structure. Results show improvements over prior state-of-the-art, including the ability to transfer in challenging real-world datasets not previously possible and improved generalization over RNNs trained without transfer.
• Abstract（参考訳）: 転送学習では、ソースデータセットでトレーニングされた人工ニューラルネットワーク(ann)を、新たなターゲットデータセットに適応させる。 これは非常に強力であることが示されているが、一般的にはアーキテクチャ上の制約によって制限されている。 以前は、annの内部重みと構造を再利用し、適合させるために、タスク間で転送されるanの基盤となるトポロジーは、新しい出力層がアタッチされている間もほとんど同じでなければならず、古い出力層の重みを破棄する。 本研究は,ネットワーク対応型適応型構造伝達学習(N-ASTL)を導入する。 n-astlは、新しい入力および出力ニューロンが既存の構造にどのように統合されるかを伝えるために、ソースネットワークのトポロジーおよび重み分布に関連する統計情報を利用する。 結果は、これまで不可能だった実世界のデータセットの転送機能や、転送なしでトレーニングされたRNNに対する一般化の改善など、従来の最先端よりも改善されたことを示している。

関連論文リスト

• Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains [23.10912424714101]
  最近発見されたニューラル崩壊(NC)現象は、ディープ・ニューラル・ニューラルネットワークの最後の層重みが、訓練の最終段階において、いわゆるEquiangular Tight Frame (ETF) Simplexに収束することを示している。 NC特性にインスパイアされた本論文では,最終層重みをETFにより固定したDNNモデルの伝達性について検討する。
  論文  参考訳（メタデータ） (2024-02-28T15:52:30Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Deep Transfer Learning with Ridge Regression [7.843067454030999]
  大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。 我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。 本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
  論文  参考訳（メタデータ） (2020-06-11T20:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。