論文の概要: Increasing Depth of Neural Networks for Life-long Learning
- arxiv url: http://arxiv.org/abs/2202.10821v2
- Date: Mon, 8 May 2023 16:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 01:13:17.739058
- Title: Increasing Depth of Neural Networks for Life-long Learning
- Title（参考訳）: 生涯学習のためのニューラルネットワークの深層化
- Authors: J\k{e}drzej Kozal, Micha{\l} Wo\'zniak
- Abstract要約: 本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。
この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
- 参考スコア（独自算出の注目度）: 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Purpose: We propose a novel method for continual learning based on the
increasing depth of neural networks. This work explores whether extending
neural network depth may be beneficial in a life-long learning setting.
Methods: We propose a novel approach based on adding new layers on top of
existing ones to enable the forward transfer of knowledge and adapting
previously learned representations. We employ a method of determining the most
similar tasks for selecting the best location in our network to add new nodes
with trainable parameters. This approach allows for creating a tree-like model,
where each node is a set of neural network parameters dedicated to a specific
task. The Progressive Neural Network concept inspires the proposed method.
Therefore, it benefits from dynamic changes in network structure. However,
Progressive Neural Network allocates a lot of memory for the whole network
structure during the learning process. The proposed method alleviates this by
adding only part of a network for a new task and utilizing a subset of
previously trained weights. At the same time, we may retain the benefit of PNN,
such as no forgetting guaranteed by design, without needing a memory buffer.
Results: Experiments on Split CIFAR and Split Tiny ImageNet show that the
proposed algorithm is on par with other continual learning methods. In a more
challenging setup with a single computer vision dataset as a separate task, our
method outperforms Experience Replay.
Conclusion: It is compatible with commonly used computer vision architectures
and does not require a custom network structure. As an adaptation to changing
data distribution is made by expanding the architecture, there is no need to
utilize a rehearsal buffer. For this reason, our method could be used for
sensitive applications where data privacy must be considered.
- Abstract（参考訳）: 目的:ニューラルネットワークの深さ増加に基づく連続学習手法を提案する。
この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
方法: 既存のレイヤの上に新しいレイヤを追加することで, 知識の転送と事前学習した表現の適応を可能にする手法を提案する。
学習可能なパラメータを持つ新しいノードを追加するために、ネットワーク内の最適な場所を選択するために、最も類似したタスクを決定する方法を採用します。
このアプローチでは、各ノードが特定のタスク専用のニューラルネットワークパラメータのセットであるツリーライクなモデルを作成することができる。
プログレッシブニューラルネットワークの概念は提案手法に刺激を与える。
したがって、ネットワーク構造の動的変化の恩恵を受ける。
しかし、プログレッシブニューラルネットワークは学習プロセス中にネットワーク構造全体に対して大量のメモリを割り当てる。
提案手法は,ネットワークの一部のみを新しいタスクに追加し,事前訓練した重みのサブセットを活用することで,これを緩和する。
同時に、メモリバッファを必要とせずに、設計によって保証されていることを忘れないように、PNNの利点を保ちます。
結果: Split CIFAR と Split Tiny ImageNet の実験から,提案アルゴリズムは他の連続学習手法と同等であることがわかった。
ひとつのコンピュータビジョンデータセットを別のタスクとするより困難なセットアップでは、私たちのメソッドはエクスペリエンス・リプレイよりも優れています。
結論:一般的なコンピュータビジョンアーキテクチャと互換性があり、独自のネットワーク構造を必要としない。
データ分散の変化への適応は、アーキテクチャを拡張して行われるので、リハーサルバッファを利用する必要はない。
このため,データプライバシを考慮すべきセンシティブなアプリケーションでは,この手法が利用可能である。
関連論文リスト
- Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。
このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。
実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文 参考訳（メタデータ） (2024-10-10T19:57:36Z) - Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。
アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。
我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文 参考訳（メタデータ） (2024-03-21T08:30:44Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。
提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。
我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-11-07T13:52:35Z) - StitchNet: Composing Neural Networks from Pre-Trained Fragments [3.638431342539701]
我々は,新しいニューラルネットワーク生成パラダイムであるStitchNetを提案する。
複数のトレーニング済みニューラルネットワークの断片を縫合する。
これらの断片を縫い合わせることで、従来の訓練されたネットワークに匹敵する精度でニューラルネットワークを作ることができることを示す。
論文 参考訳（メタデータ） (2023-01-05T08:02:30Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Side-Tuning: A Baseline for Network Adaptation via Additive Side
Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。
本稿では,サイドチューニングという簡単な方法を提案する。
論文 参考訳（メタデータ） (2019-12-31T18:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。