論文の概要: Machine Learning Without a Processor: Emergent Learning in a Nonlinear Electronic Metamaterial

• arxiv url: http://arxiv.org/abs/2311.00537v2
• Date: Fri, 5 Apr 2024 22:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:25:39.731876
• Title: Machine Learning Without a Processor: Emergent Learning in a Nonlinear Electronic Metamaterial
• Title（参考訳）: プロセッサのない機械学習:非線形電子メタマテリアルにおける創発的学習
• Authors: Sam Dillavou, Benjamin D Beyer, Menachem Stern, Andrea J Liu, Marc Z Miskin, Douglas J Durian,
• Abstract要約: トランジスタをベースとした非線形抵抗素子を自己調整したアナログ電子ネットワークである非線形学習メタマテリアルを導入する。 我々は,XORや非線形回帰を含む線形システムでは不可能なタスクをコンピュータなしで学習できることを実証した。 これは、センサー、ロボットコントローラー、医療機器といったエッジシステムにおける、高速で低消費電力なコンピューティングの可能性を示唆している。
• 参考スコア（独自算出の注目度）: 0.6597195879147557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard deep learning algorithms require differentiating large nonlinear networks, a process that is slow and power-hungry. Electronic learning metamaterials offer potentially fast, efficient, and fault-tolerant hardware for analog machine learning, but existing implementations are linear, severely limiting their capabilities. These systems differ significantly from artificial neural networks as well as the brain, so the feasibility and utility of incorporating nonlinear elements have not been explored. Here we introduce a nonlinear learning metamaterial -- an analog electronic network made of self-adjusting nonlinear resistive elements based on transistors. We demonstrate that the system learns tasks unachievable in linear systems, including XOR and nonlinear regression, without a computer. We find our nonlinear learning metamaterial reduces modes of training error in order (mean, slope, curvature), similar to spectral bias in artificial neural networks. The circuitry is robust to damage, retrainable in seconds, and performs learned tasks in microseconds while dissipating only picojoules of energy across each transistor. This suggests enormous potential for fast, low-power computing in edge systems like sensors, robotic controllers, and medical devices, as well as manufacturability at scale for performing and studying emergent learning.
• Abstract（参考訳）: 標準的なディープラーニングアルゴリズムでは、大きな非線形ネットワークを区別する必要がある。 電子学習メタマテリアルは、アナログ機械学習のための高速で効率的でフォールトトレラントなハードウェアを提供するが、既存の実装は線形であり、その能力を著しく制限している。 これらのシステムは、人工ニューラルネットワークと脳とは大きく異なるため、非線形要素を組み込む可能性や実用性は研究されていない。 ここでは、トランジスタに基づく非線形抵抗素子を自己調整したアナログ電子ネットワークである非線形学習メタマテリアルを紹介する。 我々は,XORや非線形回帰を含む線形システムでは不可能なタスクをコンピュータなしで学習できることを実証した。 非線形学習メタマテリアルは、ニューラルネットワークのスペクトルバイアスと同様、順序(平均、傾斜、曲率)におけるトレーニングエラーのモードを減少させる。 回路は損傷に対して堅牢であり、数秒で再訓練可能であり、各トランジスタにまたがるピコジュールのみを散逸させながら、マイクロ秒で学習タスクを実行する。 これは、センサー、ロボットコントローラー、医療機器などのエッジシステムにおける高速で低消費電力のコンピューティングと、創発的学習の実行と研究のための大規模製造可能性の巨大な可能性を示唆している。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Machine Learning with Chaotic Strange Attractors [0.0]
  カオスな非線形アトラクタを利用して低消費電力で機械学習タスクを実行するアナログ計算手法を提案する。 ニューロモルフィックコンピューティングにインスパイアされた我々のモデルは、機械学習タスクのためのプログラム可能で汎用的で一般化されたプラットフォームである。 単純なアナログデバイスとしてデプロイする場合は、現在の機械学習技術と同等ながら、ミリワット規模の電力レベルしか必要としない。
  論文  参考訳（メタデータ） (2023-09-23T12:54:38Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• What Can We Learn from Unlearnable Datasets? [107.12337511216228]
  学習不可能なデータセットは、ディープニューラルネットワークの一般化を防ぐことによって、データのプライバシを保護する可能性がある。 学習不可能なデータセットでトレーニングされたニューラルネットワークは、一般化には役に立たない単純なルールであるショートカットのみを学ぶと広く信じられている。 これとは対照的に,ネットワークは高いテスト性能を期待できる有用な特徴を実際に学習することができ,画像保護が保証されていないことを示唆している。
  論文  参考訳（メタデータ） (2023-05-30T17:41:35Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• A Robust Learning Rule for Soft-Bounded Memristive Synapses Competitive with Supervised Learning in Standard Spiking Neural Networks [0.0]
  理論神経科学における見解は、脳を機能計算装置と見なしている。 関数を近似できることは、将来の脳研究のための基礎となる公理である。 本研究では,非自明な多次元関数の学習に,ニオブをドープしたチタン酸ストロンチウムの旋律的シナプスを制御した新しい教師付き学習アルゴリズムを適用する。
  論文  参考訳（メタデータ） (2022-04-12T10:21:22Z)
• Gradient Descent in Materio [3.756477173839499]
  材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。 これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
  論文  参考訳（メタデータ） (2021-05-15T12:18:31Z)
• Linear embedding of nonlinear dynamical systems and prospects for efficient quantum algorithms [74.17312533172291]
  有限非線形力学系を無限線型力学系(埋め込み)にマッピングする方法を述べる。 次に、有限線型系 (truncation) による結果の無限線型系を近似するアプローチを検討する。
  論文  参考訳（メタデータ） (2020-12-12T00:01:10Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Boolean learning under noise-perturbations in hardware neural networks [0.0]
  ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。 これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
  論文  参考訳（メタデータ） (2020-03-27T10:36:03Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。