論文の概要: Gradient descent in materia through homodyne gradient extraction

• arxiv url: http://arxiv.org/abs/2105.11233v3
• Date: Tue, 07 Jan 2025 07:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:48:32.692890
• Title: Gradient descent in materia through homodyne gradient extraction
• Title（参考訳）: ホモダイン勾配抽出によるマトリアの勾配降下
• Authors: Marcus N. Boon, Lorenzo Cassola, Hans-Christian Ruiz Euler, Tao Chen, Bram van de Ven, Unai Alegre Ibarra, Peter A. Bobbert, Wilfred G. van der Wiel,
• Abstract要約: ホモダイン検出の原理に基づく簡易かつ効率的な勾配抽出法を示す。 最適化が必要なパラメータを摂動することで、高度に堅牢でスケーラブルな方法で勾配情報を得ることができる。 ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。
• 参考スコア（独自算出の注目度）: 2.012950941269354
• License:
• Abstract: Deep learning, a multi-layered neural network approach inspired by the brain, has revolutionized machine learning. One of its key enablers has been backpropagation, an algorithm that computes the gradient of a loss function with respect to the weights and biases in the neural network model, in combination with its use in gradient descent. However, the implementation of deep learning in digital computers is intrinsically energy hungry, with energy consumption becoming prohibitively high for many applications. This has stimulated the development of specialized hardware, ranging from neuromorphic CMOS integrated circuits and integrated photonic tensor cores to unconventional, material-based computing system. The learning process in these material systems, realized, e.g., by artificial evolution, equilibrium propagation or surrogate modelling, is a complicated and time-consuming process. Here, we demonstrate a simple yet efficient and accurate gradient extraction method, based on the principle of homodyne detection, for performing gradient descent on a loss function directly in a physical system without the need of an analytical description. By perturbing the parameters that need to be optimized using sinusoidal waveforms with distinct frequencies, we effectively obtain the gradient information in a highly robust and scalable manner. We illustrate the method in dopant network processing units, but argue that it is applicable in a wide range of physical systems. Homodyne gradient extraction can in principle be fully implemented in materia, facilitating the development of autonomously learning material systems.
• Abstract（参考訳）: ディープラーニングは、脳にインスパイアされた多層ニューラルネットワークアプローチであり、機械学習に革命をもたらした。 このアルゴリズムは、ニューラルネットワークモデルにおける重みとバイアスに対する損失関数の勾配を、勾配降下での使用と組み合わせて計算する。 しかし、デジタルコンピュータにおけるディープラーニングの実装は本質的にエネルギー不足であり、多くのアプリケーションにおいてエネルギー消費は禁断的に高いものになっている。 これにより、ニューロモルフィックCMOS集積回路や集積フォトニックテンソルコアから、従来にない物質ベースのコンピューティングシステムまで、特殊なハードウェアの開発が促進された。 これらの物質系の学習過程は、例えば、人工進化、平衡伝播、代理モデリングによって実現され、複雑で時間を要するプロセスである。 本稿では, 解析的記述を必要とせず, 物理系の損失関数に直接勾配降下を行うための, ホモダイン検出の原理に基づく, 単純で効率的かつ正確な勾配抽出法を示す。 異なる周波数の正弦波波形を用いて最適化する必要があるパラメータを摂動することにより、高度に堅牢でスケーラブルな勾配情報を得る。 本手法をドパントネットワーク処理ユニットで解説するが,多種多様な物理システムに適用可能であると論じる。 ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Incremental Data Assimilation [8.817223931520381]
  ニューラルネットワークによってパラメータ化された粗いガウス分布の列として物理系をモデル化する深層学習手法を提案する。 これにより、再構築エラーを最小限に抑えるためにエンドツーエンドで訓練された同化演算子を定義することができる。 本稿では,疎度観測によるカオス力学系へのアプローチについて述べるとともに,従来の変分データ同化法と比較する。
  論文  参考訳（メタデータ） (2024-06-21T11:42:55Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Gradient-free online learning of subgrid-scale dynamics with neural emulators [5.283819482083864]
  機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングするための汎用アルゴリズムを提案する。 我々は、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
  論文  参考訳（メタデータ） (2023-10-30T09:46:35Z)
• Event-based Backpropagation for Analog Neuromorphic Hardware [0.0]
  本稿では,BrainScaleS-2アナログニューロモルフィックハードウェアの例を用いて,EventPropアルゴリズムの実装について述べる。 本稿では、勾配を推定するための理論的枠組みと、推定の正しさを検証した結果について述べる。 これは、大規模アナログニューロモルフィックハードウェアにおけるスケーラブルでエネルギー効率のよいイベントベースの学習を可能にするアルゴリズムのデバイス上での完全な実装の実現可能性を示している。
  論文  参考訳（メタデータ） (2023-02-13T18:55:59Z)
• Agnostic Physics-Driven Deep Learning [82.89993762912795]
  この研究は、物理系が勾配計算を使わずに統計的勾配学習を行えることを証明している。 Aeqpropでは、システムの詳細を知る必要はなく、プロシージャは外部操作に基づいている。 Aeqpropはまた、自然(生物)物理系において、真の勾配に基づく統計学習は、一般的な比較的単純なメカニズムによってもたらされることを証明している。
  論文  参考訳（メタデータ） (2022-05-30T12:02:53Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Physical Deep Learning with Biologically Plausible Training Method [2.5608506499175094]
  直感フィードバックアライメントと呼ばれる生物学的に妥当なトレーニングアルゴリズムを拡張し,物理深層学習を提案する。 このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、高速化することができる。 本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2022-04-01T05:46:16Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Accurately Solving Physical Systems with Graph Learning [22.100386288615006]
  本稿では,グラフネットワークを持つ物理系に対する反復解法を高速化する新しい手法を提案する。 エンド・ツー・エンドで物理システムを学習することを目的とした既存の手法とは異なり、我々のアプローチは長期的な安定性を保証する。 本手法は,従来の反復解法の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-06T15:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。