論文の概要: Gradient Descent in Materio

• arxiv url: http://arxiv.org/abs/2105.11233v1
• Date: Sat, 15 May 2021 12:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 08:50:27.127950
• Title: Gradient Descent in Materio
• Title（参考訳）: マテリオの色素沈着
• Authors: Marcus N. Boon, Hans-Christian Ruiz Euler, Tao Chen, Bram van de Ven, Unai Alegre Ibarra, Peter A. Bobbert, Wilfred G. van der Wiel
• Abstract要約: 材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。 これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
• 参考スコア（独自算出の注目度）: 3.756477173839499
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning, a multi-layered neural network approach inspired by the brain, has revolutionized machine learning. One of its key enablers has been backpropagation, an algorithm that computes the gradient of a loss function with respect to the weights in the neural network model, in combination with its use in gradient descent. However, the implementation of deep learning in digital computers is intrinsically wasteful, with energy consumption becoming prohibitively high for many applications. This has stimulated the development of specialized hardware, ranging from neuromorphic CMOS integrated circuits and integrated photonic tensor cores to unconventional, material-based computing systems. The learning process in these material systems, taking place, e.g., by artificial evolution or surrogate neural network modelling, is still a complicated and time-consuming process. Here, we demonstrate an efficient and accurate homodyne gradient extraction method for performing gradient descent on the loss function directly in the material system. We demonstrate the method in our recently developed dopant network processing units, where we readily realize all Boolean gates. This shows that gradient descent can in principle be fully implemented in materio using simple electronics, opening up the way to autonomously learning material systems.
• Abstract（参考訳）: 脳にインスパイアされた多層ニューラルネットワークアプローチであるdeep learningは、機械学習に革命をもたらした。 ニューラルネットワークモデルの重みに対する損失関数の勾配を計算するアルゴリズムで、勾配降下での使用と組み合わせられている。 しかし、デジタルコンピュータにおけるディープラーニングの実装は本質的に無駄であり、多くのアプリケーションでエネルギー消費が禁止的に高い。 これにより、ニューロモルフィックcmos集積回路や集積フォトニックテンソルコアから、非伝統的な物質ベースのコンピューティングシステムまで、特殊なハードウェアの開発が促進された。 これらの物質系の学習プロセスは、例えば人工進化や代理ニューラルネットワークモデリングによって行われるが、それでも複雑で時間を要するプロセスである。 本稿では,材料系内で直接損失関数の勾配降下を行うための効率的かつ高精度なホモダイン勾配抽出法を示す。 本手法を最近開発したdopantネットワーク処理ユニットで実証し,ブールゲートをすべて容易に実現した。 このことは、基本的に勾配降下が、単純な電子工学を用いてマテオで完全に実装できることを示し、物質システムを自律的に学習する方法を広げている。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• A deep learning theory for neural networks grounded in physics [2.132096006921048]
  ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。 私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
  論文  参考訳（メタデータ） (2021-03-18T02:12:48Z)
• On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
  オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-11-21T19:44:19Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures [0.0]
  生物学的にインスパイアされたニューロンモデルが情報符号化の斬新で効率的な方法を提供することを示す。 LIF単位に対する簡単な更新ルールを微分方程式から導出した。 本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
  論文  参考訳（メタデータ） (2020-04-28T13:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。