論文の概要: Efficient Architecture Search for Continual Learning

• arxiv url: http://arxiv.org/abs/2006.04027v2
• Date: Tue, 9 Jun 2020 04:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:11:38.413444
• Title: Efficient Architecture Search for Continual Learning
• Title（参考訳）: 連続学習のための効率的なアーキテクチャ探索
• Authors: Qiang Gao, Zhipeng Luo, Diego Klabjan
• Abstract要約: ニューラルネットワークによる継続的な学習は、一連のタスクをうまく学習することを目的としている。 1)悲惨な忘れる問題を克服し、(2)現在のネットワークを新しいタスクに適応させ、(3)モデルの複雑さを制御する、という3つの課題に直面している。 本稿では,CLEAS(Continuous Learning with Efficient Architecture Search)という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 36.998565674813285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning with neural networks is an important learning framework in AI that aims to learn a sequence of tasks well. However, it is often confronted with three challenges: (1) overcome the catastrophic forgetting problem, (2) adapt the current network to new tasks, and meanwhile (3) control its model complexity. To reach these goals, we propose a novel approach named as Continual Learning with Efficient Architecture Search, or CLEAS in short. CLEAS works closely with neural architecture search (NAS) which leverages reinforcement learning techniques to search for the best neural architecture that fits a new task. In particular, we design a neuron-level NAS controller that decides which old neurons from previous tasks should be reused (knowledge transfer), and which new neurons should be added (to learn new knowledge). Such a fine-grained controller allows one to find a very concise architecture that can fit each new task well. Meanwhile, since we do not alter the weights of the reused neurons, we perfectly memorize the knowledge learned from previous tasks. We evaluate CLEAS on numerous sequential classification tasks, and the results demonstrate that CLEAS outperforms other state-of-the-art alternative methods, achieving higher classification accuracy while using simpler neural architectures.
• Abstract（参考訳）: ニューラルネットワークによる継続的な学習は、タスクのシーケンスをうまく学習することを目的とした、AIの重要な学習フレームワークである。 しかし,(1)悲惨な忘れる問題を克服し,(2)現在のネットワークを新しいタスクに適応させ,(3)モデルの複雑さを制御する,という3つの課題に直面している。 これらの目標を達成するために,我々はCLEAS(Continuous Learning with Efficient Architecture Search)という新しいアプローチを提案する。 CLEASは、強化学習技術を活用したニューラルアーキテクチャサーチ(NAS)と密接に連携して、新しいタスクに適した最高のニューラルアーキテクチャを探す。 特に、以前のタスクからどの古いニューロンを再利用すべきか(知識伝達)、そしてどの新しいニューロンを追加するべきか(新しい知識を学ぶために)を決定するニューロンレベルのnasコントローラを設計する。 このようなきめ細かいコントローラは、新しいタスクにうまくフィットする非常に簡潔なアーキテクチャを見つけることができます。 一方、再利用されたニューロンの重みを変えないため、以前のタスクから学んだ知識を完全に記憶する。 我々はCLEASを多数のシーケンシャルな分類タスクで評価し、CLEASは他の最先端の代替手法よりも優れており、より単純なニューラルネットワークを用いて高い分類精度を達成できることを示した。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• CogNGen: Constructing the Kernel of a Hyperdimensional Predictive Processing Cognitive Architecture [79.07468367923619]
  神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。 我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
  論文  参考訳（メタデータ） (2022-03-31T04:44:28Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Improving the sample-efficiency of neural architecture search with reinforcement learning [0.0]
  この作業では、Automated Machine Learning(AutoML)の領域にコントリビュートしたいと思っています。 我々の焦点は、最も有望な研究方向の一つ、強化学習である。 児童ネットワークの検証精度は、コントローラを訓練するための報奨信号として機能する。 我々は、これをより現代的で複雑なアルゴリズムであるPPOに修正することを提案する。
  論文  参考訳（メタデータ） (2021-10-13T14:30:09Z)
• Efficient and robust multi-task learning in the brain with modular task primitives [2.6166087473624318]
  タスクプリミティブを具備したモジュールネットワークは,パラメータ数と更新率を低く保ちながら,複数のタスクを適切に学習することができることを示す。 また,本手法により得られたスキルは,他のマルチタスク学習戦略に比べて幅広い摂動に対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-05-28T21:07:54Z)
• Self-Constructing Neural Networks Through Random Mutation [0.0]
  本稿では,ランダム変異によるニューラルネットワークの学習方法を提案する。 1) 神経アーキテクチャはエージェントの生存中に学習可能であり, 2) 神経アーキテクチャは,初期接続やニューロンを必要とせず,単一のライフタイムで構築可能であり,3) 動的かつ新しいタスクシナリオへの迅速な適応を可能にする。
  論文  参考訳（メタデータ） (2021-03-29T15:27:38Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。