論文の概要: The Promise of Analog Deep Learning: Recent Advances, Challenges and Opportunities
- arxiv url: http://arxiv.org/abs/2406.12911v1
- Date: Thu, 13 Jun 2024 07:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-23 13:15:04.285354
- Title: The Promise of Analog Deep Learning: Recent Advances, Challenges and Opportunities
- Title（参考訳）: アナログディープラーニングの約束 - 最近の進歩,課題,機会
- Authors: Aditya Datar, Pramit Saha,
- Abstract要約: アナログ実装における深層学習の進歩とともに、そのメリットとデメリットを評価し、特定する。
これらのハードウェアデバイスを用いて実装されたニューラルネットワークに基づく実験を同定し、異なるアナログ深層学習法により達成された比較性能について議論する。
全体としては、Analog Deep Learningは将来のコンシューマレベルのアプリケーションにとって大きな可能性を秘めていますが、スケーラビリティに関してはまだ長い道のりがあります。
- 参考スコア（独自算出の注目度）: 2.9312156642007303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Much of the present-day Artificial Intelligence (AI) utilizes artificial neural networks, which are sophisticated computational models designed to recognize patterns and solve complex problems by learning from data. However, a major bottleneck occurs during a device's calculation of weighted sums for forward propagation and optimization procedure for backpropagation, especially for deep neural networks, or networks with numerous layers. Exploration into different methods of implementing neural networks is necessary for further advancement of the area. While a great deal of research into AI hardware in both directions, analog and digital implementation widely exists, much of the existing survey works lacks discussion on the progress of analog deep learning. To this end, we attempt to evaluate and specify the advantages and disadvantages, along with the current progress with regards to deep learning, for analog implementations. In this paper, our focus lies on the comprehensive examination of eight distinct analog deep learning methodologies across multiple key parameters. These parameters include attained accuracy levels, application domains, algorithmic advancements, computational speed, and considerations of energy efficiency and power consumption. We also identify the neural network-based experiments implemented using these hardware devices and discuss comparative performance achieved by the different analog deep learning methods along with an analysis of their current limitations. Overall, we find that Analog Deep Learning has great potential for future consumer-level applications, but there is still a long road ahead in terms of scalability. Most of the current implementations are more proof of concept and are not yet practically deployable for large-scale models.
- Abstract（参考訳）: 現在の人工知能(AI)の多くは、パターンを認識し、データから学習することで複雑な問題を解決するように設計された洗練された計算モデルである、ニューラルネットワークを使用している。
しかし、バックプロパゲーション、特にディープニューラルネットワークや多数の層を持つネットワークにおいて、デバイスの重み付け和の計算と最適化手順の間に大きなボトルネックが発生する。
ニューラルネットワークの様々な実装方法の探索は、その領域のさらなる進歩に必要である。
AIハードウェアについて、アナログとデジタルの両方の方向に多くの研究がなされているが、既存の調査の多くはアナログディープラーニングの進歩に関する議論を欠いている。
この目的のために、我々は、アナログ実装の深層学習に関する現在の進歩とともに、利点とデメリットを評価し、特定しようと試みている。
本稿では,複数のキーパラメータにまたがる8つの異なるアナログ深層学習手法の総合的な検討に焦点をあてる。
これらのパラメータには、達成された精度レベル、アプリケーションドメイン、アルゴリズムの進歩、計算速度、エネルギー効率と消費電力の考慮が含まれる。
また、これらのハードウェアデバイスを用いて実装されたニューラルネットワークに基づく実験を同定し、異なるアナログ深層学習手法によって達成された比較性能と、その現在の限界の分析について論じる。
全体としては、Analog Deep Learningは将来のコンシューマレベルのアプリケーションにとって大きな可能性を秘めていますが、スケーラビリティに関してはまだ長い道のりがあります。
現在の実装のほとんどはより概念実証的なものであり、まだ大規模モデルでは実際にデプロイできない。
関連論文リスト
- Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。
PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
論文 参考訳（メタデータ） (2023-08-15T16:37:16Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。
大規模画像と言語訓練における性能を比較した実験結果を示す。
この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
論文 参考訳（メタデータ） (2021-11-09T04:24:42Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Comparative Analysis of Polynomial and Rational Approximations of
Hyperbolic Tangent Function for VLSI Implementation [5.429955391775968]
ディープニューラルネットワークは、多くのコンピュータビジョンや、オブジェクト検出や音声認識などのヒューマンマシンインタフェースアプリケーションにおいて、最先端の結果をもたらす。
これらのネットワークは計算コストがかかるため、より低コストで必要な性能を達成するためにカスタマイズされたアクセラレータが設計されている。
論文 参考訳（メタデータ） (2020-07-13T07:31:02Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Memristors -- from In-memory computing, Deep Learning Acceleration,
Spiking Neural Networks, to the Future of Neuromorphic and Bio-inspired
Computing [25.16076541420544]
機械学習は、特にディープラーニングの形で、人工知能の最近の基本的な発展のほとんどを駆動している。
ディープラーニングは、オブジェクト/パターン認識、音声と自然言語処理、自動運転車、インテリジェントな自己診断ツール、自律ロボット、知識に富んだパーソナルアシスタント、監視といった分野に成功している。
本稿では、電力効率の高いインメモリコンピューティング、ディープラーニングアクセラレーター、スパイクニューラルネットワークの実装のための潜在的なソリューションとして、CMOSハードウェア技術、memristorsを超越した小説をレビューする。
論文 参考訳（メタデータ） (2020-04-30T16:49:03Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。