論文の概要: A Review on Plastic Artificial Neural Networks: Exploring the Intersection between Neural Architecture Search and Continual Learning

• arxiv url: http://arxiv.org/abs/2206.05625v1
• Date: Sat, 11 Jun 2022 22:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 12:37:53.322853
• Title: A Review on Plastic Artificial Neural Networks: Exploring the Intersection between Neural Architecture Search and Continual Learning
• Title（参考訳）: プラスチック人工ニューラルネットワークの展望 : ニューラルネットワークと連続学習の相互作用を探る
• Authors: Mohamed Shahawy, Elhadj Benkhelifa, David White
• Abstract要約: ニューラルネットワークの継続的な適応性と自動化は、いくつかの領域において最重要となる。 本研究は AutoML と CL の交点に関する最初の広範なレビューである。
• 参考スコア（独自算出の注目度）: 0.2148535041822524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the significant advances achieved in Artificial Neural Networks (ANNs), their design process remains notoriously tedious, depending primarily on intuition, experience and trial-and-error. This human-dependent process is often time-consuming and prone to errors. Furthermore, the models are generally bound to their training contexts, with no considerations of changes to their surrounding environments. Continual adaptability and automation of neural networks is of paramount importance to several domains where model accessibility is limited after deployment (e.g IoT devices, self-driving vehicles, etc). Additionally, even accessible models require frequent maintenance post-deployment to overcome issues such as Concept/Data Drift, which can be cumbersome and restrictive. The current state of the art on adaptive ANNs is still a premature area of research; nevertheless, Neural Architecture Search (NAS), a form of AutoML, and Continual Learning (CL) have recently gained an increasing momentum in the Deep Learning research field, aiming to provide more robust and adaptive ANN development frameworks. This study is the first extensive review on the intersection between AutoML and CL, outlining research directions for the different methods that can facilitate full automation and lifelong plasticity in ANNs.
• Abstract（参考訳）: ANN(Artificial Neural Networks)で達成された大きな進歩にもかかわらず、その設計プロセスは、主に直感、経験、試行錯誤に依存することで悪名高い。 この人間依存のプロセスは、しばしば時間がかかり、エラーを起こしやすい。 さらに、モデルは通常、周囲の環境の変化を考慮せずに、トレーニングコンテキストに拘束される。 ニューラルネットワークの継続的な適応性と自動化は、デプロイ後のモデルアクセシビリティ(IoTデバイスや自動運転車など)が制限されるいくつかの領域において、最も重要である。 さらに、アクセス可能なモデルでさえ、概念/データのドリフトのような問題を克服するために、デプロイ後の頻繁なメンテナンスを必要とする。 にもかかわらず、AutoMLの形式であるNeural Architecture Search(NAS)とContinuous Learning(CL)は、Deep Learning研究分野において、より堅牢で適応的なANN開発フレームワークの提供を目的として、最近勢いを増している。 この研究はAutoMLとCLの交点に関する最初の広範なレビューであり、ANNにおける完全な自動化と生涯の可塑性を促進する様々な方法の研究の方向性を概説している。

関連論文リスト

• Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective [1.3986052523534573]
  ニューロモルフィック連続学習システムの新たなクラスは、ハエの新たな情報を統合することを学ばなければならない。 このサーベイは、最先端スパースと予測符号化技術に基づくニューロモルフィック連続学習の分野における最近の多くの研究をカバーしている。 この調査は神経形連続学習の分野での今後の研究に貢献することが期待されている。
  論文  参考訳（メタデータ） (2024-07-24T14:20:59Z)
• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Dependable Neural Networks Through Redundancy, A Comparison of Redundant Architectures [0.0]
  ロックステップソリューションを検討する前に、一般的な実装の観点から信頼性の問題について議論する。 2つの類似したニューラルネットワークが正確に同じタイミングで結果を生成し、プラットフォーム間の同期が必要とされることは、必ずしも前提ではない、と私たちは考えています。
  論文  参考訳（メタデータ） (2021-07-30T12:17:36Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。