論文の概要: Gradient Descent in Materio
- arxiv url: http://arxiv.org/abs/2105.11233v1
- Date: Sat, 15 May 2021 12:18:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 08:50:27.127950
- Title: Gradient Descent in Materio
- Title（参考訳）: マテリオの色素沈着
- Authors: Marcus N. Boon, Hans-Christian Ruiz Euler, Tao Chen, Bram van de Ven,
Unai Alegre Ibarra, Peter A. Bobbert, Wilfred G. van der Wiel
- Abstract要約: 材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。
これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
- 参考スコア（独自算出の注目度）: 3.756477173839499
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep learning, a multi-layered neural network approach inspired by the brain,
has revolutionized machine learning. One of its key enablers has been
backpropagation, an algorithm that computes the gradient of a loss function
with respect to the weights in the neural network model, in combination with
its use in gradient descent. However, the implementation of deep learning in
digital computers is intrinsically wasteful, with energy consumption becoming
prohibitively high for many applications. This has stimulated the development
of specialized hardware, ranging from neuromorphic CMOS integrated circuits and
integrated photonic tensor cores to unconventional, material-based computing
systems. The learning process in these material systems, taking place, e.g., by
artificial evolution or surrogate neural network modelling, is still a
complicated and time-consuming process. Here, we demonstrate an efficient and
accurate homodyne gradient extraction method for performing gradient descent on
the loss function directly in the material system. We demonstrate the method in
our recently developed dopant network processing units, where we readily
realize all Boolean gates. This shows that gradient descent can in principle be
fully implemented in materio using simple electronics, opening up the way to
autonomously learning material systems.
- Abstract（参考訳）: 脳にインスパイアされた多層ニューラルネットワークアプローチであるdeep learningは、機械学習に革命をもたらした。
ニューラルネットワークモデルの重みに対する損失関数の勾配を計算するアルゴリズムで、勾配降下での使用と組み合わせられている。
しかし、デジタルコンピュータにおけるディープラーニングの実装は本質的に無駄であり、多くのアプリケーションでエネルギー消費が禁止的に高い。
これにより、ニューロモルフィックcmos集積回路や集積フォトニックテンソルコアから、非伝統的な物質ベースのコンピューティングシステムまで、特殊なハードウェアの開発が促進された。
これらの物質系の学習プロセスは、例えば人工進化や代理ニューラルネットワークモデリングによって行われるが、それでも複雑で時間を要するプロセスである。
本稿では,材料系内で直接損失関数の勾配降下を行うための効率的かつ高精度なホモダイン勾配抽出法を示す。
本手法を最近開発したdopantネットワーク処理ユニットで実証し,ブールゲートをすべて容易に実現した。
このことは、基本的に勾配降下が、単純な電子工学を用いてマテオで完全に実装できることを示し、物質システムを自律的に学習する方法を広げている。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Neural Incremental Data Assimilation [8.817223931520381]
ニューラルネットワークによってパラメータ化された粗いガウス分布の列として物理系をモデル化する深層学習手法を提案する。
これにより、再構築エラーを最小限に抑えるためにエンドツーエンドで訓練された同化演算子を定義することができる。
本稿では,疎度観測によるカオス力学系へのアプローチについて述べるとともに,従来の変分データ同化法と比較する。
論文 参考訳（メタデータ） (2024-06-21T11:42:55Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Gradient-free online learning of subgrid-scale dynamics with neural emulators [5.283819482083864]
機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングするための汎用アルゴリズムを提案する。
我々は、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
論文 参考訳（メタデータ） (2023-10-30T09:46:35Z) - Event-based Backpropagation for Analog Neuromorphic Hardware [0.0]
本稿では,BrainScaleS-2アナログニューロモルフィックハードウェアの例を用いて,EventPropアルゴリズムの実装について述べる。
本稿では、勾配を推定するための理論的枠組みと、推定の正しさを検証した結果について述べる。
これは、大規模アナログニューロモルフィックハードウェアにおけるスケーラブルでエネルギー効率のよいイベントベースの学習を可能にするアルゴリズムのデバイス上での完全な実装の実現可能性を示している。
論文 参考訳（メタデータ） (2023-02-13T18:55:59Z) - Agnostic Physics-Driven Deep Learning [82.89993762912795]
この研究は、物理系が勾配計算を使わずに統計的勾配学習を行えることを証明している。
Aeqpropでは、システムの詳細を知る必要はなく、プロシージャは外部操作に基づいている。
Aeqpropはまた、自然(生物)物理系において、真の勾配に基づく統計学習は、一般的な比較的単純なメカニズムによってもたらされることを証明している。
論文 参考訳（メタデータ） (2022-05-30T12:02:53Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Physical Deep Learning with Biologically Plausible Training Method [2.5608506499175094]
直感フィードバックアライメントと呼ばれる生物学的に妥当なトレーニングアルゴリズムを拡張し,物理深層学習を提案する。
このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、高速化することができる。
本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。
論文 参考訳（メタデータ） (2022-04-01T05:46:16Z) - Physical Gradients for Deep Learning [101.36788327318669]
最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。
本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-30T12:14:31Z) - Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
本稿では, 音素の効率的な微分可能シミュレーション法を提案する。
これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。
提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
論文 参考訳（メタデータ） (2021-09-16T04:48:13Z) - Accurately Solving Physical Systems with Graph Learning [22.100386288615006]
本稿では,グラフネットワークを持つ物理系に対する反復解法を高速化する新しい手法を提案する。
エンド・ツー・エンドで物理システムを学習することを目的とした既存の手法とは異なり、我々のアプローチは長期的な安定性を保証する。
本手法は,従来の反復解法の性能を向上させる。
論文 参考訳（メタデータ） (2020-06-06T15:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。