論文の概要: Training all-mechanical neural networks for task learning through in situ backpropagation

• arxiv url: http://arxiv.org/abs/2404.15471v1
• Date: Tue, 23 Apr 2024 19:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 15:13:10.083761
• Title: Training all-mechanical neural networks for task learning through in situ backpropagation
• Title（参考訳）: In situバックプロパゲーションによるタスク学習のための全機械的ニューラルネットワークのトレーニング
• Authors: Shuaifeng Li, Xiaoming Mao,
• Abstract要約: In situバックプロパゲーションのメカニカルアナログを導入し、メカニカルニューラルネットワークの高度に効率的なトレーニングを可能にする。 勾配情報を用いて、動作学習と機械学習タスクのためのMNNのトレーニングの成功例を示す。 我々の発見は、機械機械学習ハードウェアと自律型自己学習教材システムへの道を開いた。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances unveiled physical neural networks as promising machine learning platforms, offering faster and more energy-efficient information processing. Compared with extensively-studied optical neural networks, the development of mechanical neural networks (MNNs) remains nascent and faces significant challenges, including heavy computational demands and learning with approximate gradients. Here, we introduce the mechanical analogue of in situ backpropagation to enable highly efficient training of MNNs. We demonstrate that the exact gradient can be obtained locally in MNNs, enabling learning through their immediate vicinity. With the gradient information, we showcase the successful training of MNNs for behavior learning and machine learning tasks, achieving high accuracy in regression and classification. Furthermore, we present the retrainability of MNNs involving task-switching and damage, demonstrating the resilience. Our findings, which integrate the theory for training MNNs and experimental and numerical validations, pave the way for mechanical machine learning hardware and autonomous self-learning material systems.
• Abstract（参考訳）: 最近の進歩は、物理ニューラルネットワークを有望な機械学習プラットフォームとして公開し、より高速でエネルギー効率の高い情報処理を提供する。 広範に研究されている光学ニューラルネットワークと比較して、メカニカルニューラルネットワーク(MNN)の開発はいまだに初期段階にあり、重い計算要求や近似勾配による学習など、大きな課題に直面している。 本稿では,MNNの高度に効率的なトレーニングを可能にするため,in situ backpropagationの機械的類似について紹介する。 正確な勾配を MNN で局所的に取得できることを示し,その近傍での学習を可能にした。 勾配情報を用いて、動作学習と機械学習タスクのためのMNNのトレーニングを成功させ、回帰と分類において高い精度で達成する。 さらに、タスクスイッチングと損傷を含むMNNの再トレーニング可能性を示し、レジリエンスを実証する。 本研究は,MNNの学習理論と実験的および数値的検証を統合し,機械的機械学習ハードウェアと自律的自己学習教材システムへの道を開いた。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Toward stochastic neural computing [11.955322183964201]
  本稿では,ノイズ入力のストリームをスパイキングニューロンの集団によって変換し,処理するニューラルコンピューティングの理論を提案する。 本手法をIntelのLoihiニューロモルフィックハードウェアに適用する。
  論文  参考訳（メタデータ） (2023-05-23T12:05:35Z)
• PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
  本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。 教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。 この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T09:56:02Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Neuromorphic Processing and Sensing: Evolutionary Progression of AI to Spiking [0.0]
  スパイキングニューラルネットワークアルゴリズムは、計算と電力要求の一部を利用して高度な人工知能を実装することを約束する。 本稿では,スパイクに基づくニューロモルフィック技術の理論的研究について解説し,ハードウェアプロセッサ,ソフトウェアプラットフォーム,ニューロモルフィックセンシングデバイスの現状について概説する。 プログレクションパスは、現在の機械学習スペシャリストがスキルセットを更新し、現在の世代のディープニューラルネットワークからSNNへの分類または予測モデルを作成するために舗装されている。
  論文  参考訳（メタデータ） (2020-07-10T20:54:42Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。