論文の概要: Noise-based Local Learning using Stochastic Magnetic Tunnel Junctions

• arxiv url: http://arxiv.org/abs/2412.12783v1
• Date: Tue, 17 Dec 2024 10:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:56:46.307716
• Title: Noise-based Local Learning using Stochastic Magnetic Tunnel Junctions
• Title（参考訳）: 確率的磁気トンネル接合を用いた雑音に基づく局所学習
• Authors: Kees Koenders, Leo Schnitzpan, Fabian Kammerbauer, Sinan Shu, Gerhard Jakob, Mathis Kläui, Johan Mentink, Nasir Ahmad, Marcel van Gerven,
• Abstract要約: 多層ニューラルネットワークを実装した物理システムに対して,新しい雑音に基づく学習手法を提案する。 スピントロニクスのハードウェア実装を用いて、物理磁気トンネル接合からなる小さなネットワークにおいて学習が達成できることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 1.6383855692675309
• License:
• Abstract: Brain-inspired learning in physical hardware has enormous potential to learn fast at minimal energy expenditure. One of the characteristics of biological learning systems is their ability to learn in the presence of various noise sources. Inspired by this observation, we introduce a novel noise-based learning approach for physical systems implementing multi-layer neural networks. Simulation results show that our approach allows for effective learning whose performance approaches that of the conventional effective yet energy-costly backpropagation algorithm. Using a spintronics hardware implementation, we demonstrate experimentally that learning can be achieved in a small network composed of physical stochastic magnetic tunnel junctions. These results provide a path towards efficient learning in general physical systems which embraces rather than mitigates the noise inherent in physical devices.
• Abstract（参考訳）: 物理ハードウェアにおける脳にインスパイアされた学習は、最小のエネルギー消費で速く学習する潜在能力を持つ。 生体学習システムの特徴の1つは、様々なノイズ源の存在下で学習できることである。 この観測に触発されて,多層ニューラルネットワークを実装した物理システムに対して,ノイズに基づく新しい学習手法を提案する。 シミュレーションの結果,本手法は従来の有効かつ省エネなバックプロパゲーションアルゴリズムに近い性能の学習を可能にすることが示された。 スピントロニクスのハードウェア実装を用いて、物理的確率的磁気トンネル接合からなる小さなネットワークにおいて学習が達成できることを実験的に実証した。 これらの結果は、物理デバイスに固有のノイズを緩和するのではなく、受け入れる一般的な物理システムにおいて、効率的な学習への道を提供する。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Tackling Sampling Noise in Physical Systems for Machine Learning Applications: Fundamental Limits and Eigentasks [0.0]
  本稿では,有限サンプリング雑音下での一般物理系の可解表現能力(REC)を評価するための枠組みを提案する。 次に,低雑音固有タスクの抽出が機械学習タスクの性能向上につながるという実証的証拠を提供する。 我々の発見は量子機械学習とセンシングの応用に幅広い影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-29T21:39:29Z)
• Backpropagation-free Training of Deep Physical Neural Networks [0.0]
  我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。 本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:02:49Z)
• Training neural networks with structured noise improves classification and generalization [0.0]
  ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。 また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
  論文  参考訳（メタデータ） (2023-02-26T22:10:23Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Boolean learning under noise-perturbations in hardware neural networks [0.0]
  ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。 これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
  論文  参考訳（メタデータ） (2020-03-27T10:36:03Z)
• Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation [12.30062870698165]
  ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。 そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。 提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
  論文  参考訳（メタデータ） (2020-01-14T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。