論文の概要: Increasing Depth of Neural Networks for Life-long Learning

• arxiv url: http://arxiv.org/abs/2202.10821v1
• Date: Tue, 22 Feb 2022 11:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 21:03:52.417113
• Title: Increasing Depth of Neural Networks for Life-long Learning
• Title（参考訳）: 生涯学習のためのニューラルネットワークの深層化
• Authors: J\k{e}drzej Kozal, Micha{\l} Wo\'zniak
• Abstract要約: この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかに答えようとしている。 本稿では,知識の転送を可能にするため,既存のレイヤの上に新しいレイヤを追加する新しい手法を提案する。 Permuted MNIST と SplitCIFAR の実験により,提案アルゴリズムは他の連続学習手法と同等であることが示された。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Increasing neural network depth is a well-known method for improving neural network performance. Modern deep architectures contain multiple mechanisms that allow hundreds or even thousands of layers to train. This work is trying to answer if extending neural network depth may be beneficial in a life-long learning setting. In particular, we propose a novel method based on adding new layers on top of existing ones to enable the forward transfer of knowledge and adapting previously learned representations for new tasks. We utilize a method of determining the most similar tasks for selecting the best location in our network to add new nodes with trainable parameters. This approach allows for creating a tree-like model, where each node is a set of neural network parameters dedicated to a specific task. The proposed method is inspired by Progressive Neural Network (PNN) concept, therefore it is rehearsal-free and benefits from dynamic change of network structure. However, it requires fewer parameters per task than PNN. Experiments on Permuted MNIST and SplitCIFAR show that the proposed algorithm is on par with other continual learning methods. We also perform ablation studies to clarify the contributions of each system part.
• Abstract（参考訳）: ニューラルネットワークの深さの増大は、ニューラルネットワークの性能を改善する有名な方法である。 現代の深層アーキテクチャは、数百層や数千層の層を訓練できる複数のメカニズムを含んでいる。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯学習環境において有益かどうかを問うものだ。 特に,既存のものの上に新しいレイヤを追加することで,知識の転送を可能にし,学習済みの表現を新しいタスクに適用する手法を提案する。 類似したタスクを決定する手法を用いてネットワーク内の最適な場所を選択し、学習可能なパラメータを持つ新しいノードを追加する。 このアプローチでは、各ノードが特定のタスク専用のニューラルネットワークパラメータのセットであるツリーライクなモデルを作成することができる。 提案手法はプログレッシブニューラルネットワーク(pnn)の概念に触発され,リハーサルフリーであり,ネットワーク構造の動的変化による利点がある。 しかし、タスク毎のパラメータはPNNよりも少ない。 Permuted MNIST と SplitCIFAR の実験により,提案アルゴリズムは他の連続学習手法と同等であることが示された。 また,各システム部の貢献を明らかにするため,アブレーション研究を行う。

関連論文リスト

• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• StitchNet: Composing Neural Networks from Pre-Trained Fragments [3.638431342539701]
  我々は,新しいニューラルネットワーク生成パラダイムであるStitchNetを提案する。 複数のトレーニング済みニューラルネットワークの断片を縫合する。 これらの断片を縫い合わせることで、従来の訓練されたネットワークに匹敵する精度でニューラルネットワークを作ることができることを示す。
  論文  参考訳（メタデータ） (2023-01-05T08:02:30Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。