論文の概要: Physical Deep Learning with Biologically Plausible Training Method

• arxiv url: http://arxiv.org/abs/2204.13991v1
• Date: Fri, 1 Apr 2022 05:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 02:31:16.331278
• Title: Physical Deep Learning with Biologically Plausible Training Method
• Title（参考訳）: 生体プラウジブルトレーニング法による物理深層学習
• Authors: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto, Kohei Nakajima
• Abstract要約: 直感フィードバックアライメントと呼ばれる生物学的に妥当なトレーニングアルゴリズムを拡張し,物理深層学習を提案する。 このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、高速化することができる。 本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。
• 参考スコア（独自算出の注目度）: 2.5608506499175094
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The ever-growing demand for further advances in artificial intelligence motivated research on unconventional computation based on analog physical devices. While such computation devices mimic brain-inspired analog information processing, learning procedures still relies on methods optimized for digital processing such as backpropagation. Here, we present physical deep learning by extending a biologically plausible training algorithm called direct feedback alignment. As the proposed method is based on random projection with arbitrary nonlinear activation, we can train a physical neural network without knowledge about the physical system. In addition, we can emulate and accelerate the computation for this training on a simple and scalable physical system. We demonstrate the proof-of-concept using a hierarchically connected optoelectronic recurrent neural network called deep reservoir computer. By constructing an FPGA-assisted optoelectronic benchtop, we confirmed the potential for accelerated computation with competitive performance on benchmarks. Our results provide practical solutions for the training and acceleration of neuromorphic computation.
• Abstract（参考訳）: 人工知能のさらなる進歩に対する需要は、アナログ物理デバイスに基づく非従来型計算の研究を動機付けている。 このような計算装置は脳に触発されたアナログ情報処理を模倣するが、学習手順はバックプロパゲーションのようなデジタル処理に最適化された手法に依存している。 本稿では,直接フィードバックアライメントと呼ばれる生物学的に妥当な学習アルゴリズムを拡張し,物理的深層学習を提案する。 提案手法は任意の非線形活性化を伴うランダム・プロジェクションに基づくため,物理系を知らずに物理ニューラルネットワークを訓練することができる。 さらに、このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、加速することができる。 本稿では,階層結合型光電子リカレントニューラルネットワークであるdeep reservoir computerを用いて概念実証を行う。 FPGAを用いた光電子ベンチトップの構築により、ベンチマーク上での競合性能による高速化計算の可能性を確認した。 本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Training neural networks with end-to-end optical backpropagation [1.1602089225841632]
  光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。 我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。 これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
  論文  参考訳（メタデータ） (2023-08-09T21:11:26Z)
• Backpropagation-free Training of Deep Physical Neural Networks [0.0]
  我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。 本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:02:49Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Spike-based local synaptic plasticity: A survey of computational models and neuromorphic circuits [1.8464222520424338]
  シナプス可塑性のモデル化における歴史的,ボトムアップ的,トップダウン的なアプローチを概観する。 スパイクベース学習ルールの低レイテンシおよび低消費電力ハードウェア実装をサポートする計算プリミティブを同定する。
  論文  参考訳（メタデータ） (2022-09-30T15:35:04Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic Intelligence [2.6199663901387997]
  インメモリコンピューティング 混合信号ニューロモルフィックアーキテクチャはエッジコンピューティングのセンサ処理への応用に期待できる超低消費電力のソリューションを提供する。 本稿では、FDSOI(Fully-Depleted Silicon on Insulator)統合プロセスの特徴を利用する混合信号アナログ/デジタル回路を提案する。
  論文  参考訳（メタデータ） (2020-06-25T09:31:29Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。