論文の概要: Self-training superconducting neuromorphic circuits using reinforcement learning rules

• arxiv url: http://arxiv.org/abs/2404.18774v1
• Date: Mon, 29 Apr 2024 15:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 13:18:30.902364
• Title: Self-training superconducting neuromorphic circuits using reinforcement learning rules
• Title（参考訳）: 強化学習規則を用いた自己学習超伝導ニューロモルフィック回路
• Authors: M. L. Schneider, E. M. Jué, M. R. Pufall, K. Segall, C. W. Anderson,
• Abstract要約: 本稿では,強化学習に基づく局所的重量更新規則の集合とその超伝導ハードウェアへの実装について述べる。 我々は1ナノ秒の学習時間を持つ小型ニューラルネットワークを実装した。 重みの調整は、回路がエラーをバックプロパゲートする必要性をなくすグローバルな強化信号に基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning algorithms are used in a wide range of applications, from gaming and robotics to autonomous vehicles. In this paper we describe a set of reinforcement learning-based local weight update rules and their implementation in superconducting hardware. Using SPICE circuit simulations, we implement a small-scale neural network with a learning time of order one nanosecond. This network can be trained to learn new functions simply by changing the target output for a given set of inputs, without the need for any external adjustments to the network. In this implementation the weights are adjusted based on the current state of the overall network response and locally stored information about the previous action. This removes the need to program explicit weight values in these networks, which is one of the primary challenges that analog hardware implementations of neural networks face. The adjustment of weights is based on a global reinforcement signal that obviates the need for circuitry to back-propagate errors.
• Abstract（参考訳）: 強化学習アルゴリズムは、ゲームやロボット工学から自動運転車まで、幅広い用途で使用されている。 本稿では,強化学習に基づく局所的重量更新規則の集合とその超伝導ハードウェアへの実装について述べる。 SPICE回路シミュレーションを用いて1ナノ秒の学習時間を持つ小型ニューラルネットワークを実装した。 このネットワークは、ネットワークの外部調整を必要とせずに、与えられた入力セットのターゲット出力を変更するだけで、新しい関数を学ぶことができる。 この実装では、全体のネットワーク応答の現在の状態と、前のアクションに関するローカルに保存された情報に基づいて重みを調整する。 これにより、ニューラルネットワークのアナログハードウェア実装が直面する主な課題の1つである、これらのネットワークで明示的な重み付け値をプログラムする必要がなくなる。 重みの調整は、回路がエラーをバックプロパゲートする必要性をなくすグローバルな強化信号に基づいている。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)
• Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation [57.46377517266827]
  本研究はN-ASTL(Network-Aware Adaptive Structure Transfer Learning)を導入する。 N-ASTLは、ソースネットワークのトポロジと重み分布に関する統計情報を利用して、新しい入力ニューロンと出力ニューロンが既存の構造にどのように統合されるかを伝える。 結果は、これまで不可能だった現実世界のデータセットを転送する機能など、従来の最先端よりも改善されていることを示している。
  論文  参考訳（メタデータ） (2020-06-04T06:07:30Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Deep Learning in Target Space [3.3624573404522504]
  本稿では,ネットワーク内の個々のノードの発火強度を目標として,重みをパラメータ化することを提案する。 目標のセットが与えられた場合、射撃強度をそれらの目標に最もよく適合させる重量を計算することができる。 ターゲットをトレーニングに使うことは、カスケードアンハングリングと呼ばれるプロセスによって、爆発的な勾配の問題に対処する、と論じられている。
  論文  参考訳（メタデータ） (2020-06-02T13:06:41Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。