論文の概要: Sparse Training Theory for Scalable and Efficient Agents

• arxiv url: http://arxiv.org/abs/2103.01636v1
• Date: Tue, 2 Mar 2021 10:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:00:55.320451
• Title: Sparse Training Theory for Scalable and Efficient Agents
• Title（参考訳）: スケーラブルで効率的なエージェントのためのスパーストレーニング理論
• Authors: Decebal Constantin Mocanu, Elena Mocanu, Tiago Pinto, Selima Curci, Phuong H. Nguyen, Madeleine Gibescu, Damien Ernst, Zita A. Vale
• Abstract要約: ディープニューラルネットワークは、すべての学習パラダイム、すなわち、完璧に対処できることが証明されている。 教師なし、監督なし、強化学習。 従来のディープラーニングアプローチは、クラウドコンピューティング施設を利用しており、計算リソースの少ない自律エージェントにうまくスケールしない。 本稿では,新しい理論研究の方向性を紹介するとともに,その課題と限界について概説する。
• 参考スコア（独自算出の注目度）: 5.71531053864579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental task for artificial intelligence is learning. Deep Neural Networks have proven to cope perfectly with all learning paradigms, i.e. supervised, unsupervised, and reinforcement learning. Nevertheless, traditional deep learning approaches make use of cloud computing facilities and do not scale well to autonomous agents with low computational resources. Even in the cloud, they suffer from computational and memory limitations, and they cannot be used to model adequately large physical worlds for agents which assume networks with billions of neurons. These issues are addressed in the last few years by the emerging topic of sparse training, which trains sparse networks from scratch. This paper discusses sparse training state-of-the-art, its challenges and limitations while introducing a couple of new theoretical research directions which has the potential of alleviating sparse training limitations to push deep learning scalability well beyond its current boundaries. Nevertheless, the theoretical advancements impact in complex multi-agents settings is discussed from a real-world perspective, using the smart grid case study.
• Abstract（参考訳）: 人工知能の基本的なタスクは学習です。 ディープニューラルネットワークは、すべての学習パラダイム、すなわち、完璧に対処できることが証明されている。 教師なし、監督なし、強化学習。 それでも、従来のディープラーニングアプローチはクラウドコンピューティング機能を活用しており、低い計算リソースを持つ自律エージェントにはうまくスケールしない。 クラウドでも、計算とメモリの制限に悩まされており、数十億のニューロンを持つネットワークを仮定するエージェントに対して、適切に大きな物理世界をモデル化することはできない。 これらの問題は、スパースネットワークをゼロからトレーニングするスパーストレーニングという新しいトピックによってここ数年で解決されます。 本稿では,分散トレーニングの課題と限界について述べるとともに,スパーストレーニングの制約を緩和し,ディープラーニングのスケーラビリティを現在の限界をはるかに越える可能性を持つ,新たな理論研究の方向性をいくつか紹介する。 それにもかかわらず、複雑なマルチエージェント設定における理論的進歩は、スマートグリッドケーススタディを用いて、現実世界の観点から議論される。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
  予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。 PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
  論文  参考訳（メタデータ） (2023-08-15T16:37:16Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications [1.9671123873378717]
  ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。 我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
  論文  参考訳（メタデータ） (2023-02-02T22:02:33Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
  クラウドとエッジ両方のAIの体系的なレビューを行います。 私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。 我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
  論文  参考訳（メタデータ） (2021-11-11T05:58:23Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Memristors -- from In-memory computing, Deep Learning Acceleration, Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired Computing [25.16076541420544]
  機械学習は、特にディープラーニングの形で、人工知能の最近の基本的な発展のほとんどを駆動している。 ディープラーニングは、オブジェクト/パターン認識、音声と自然言語処理、自動運転車、インテリジェントな自己診断ツール、自律ロボット、知識に富んだパーソナルアシスタント、監視といった分野に成功している。 本稿では、電力効率の高いインメモリコンピューティング、ディープラーニングアクセラレーター、スパイクニューラルネットワークの実装のための潜在的なソリューションとして、CMOSハードウェア技術、memristorsを超越した小説をレビューする。
  論文  参考訳（メタデータ） (2020-04-30T16:49:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。