論文の概要: Blending Optimal Control and Biologically Plausible Learning for Noise-Robust Physical Neural Networks

• arxiv url: http://arxiv.org/abs/2502.19053v1
• Date: Wed, 26 Feb 2025 11:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:27.681545
• Title: Blending Optimal Control and Biologically Plausible Learning for Noise-Robust Physical Neural Networks
• Title（参考訳）: 騒音追従型物理ニューラルネットワークの曲げ最適制御と生物学的プラザブル学習
• Authors: Satoshi Sunada, Tomoaki Niiyama, Kazutaka Kanno, Rin Nogami, André Röhm, Takato Awano, Atsushi Uchida,
• Abstract要約: 物理ニューラルネットワーク(PNN)は、効率的なニューロモルフィック情報処理を提供する。 本稿では,このトレーニングコストを大幅に削減するトレーニング手法を提案する。 トレーニング時間の短縮に加えて, 測定誤差やノイズの下でも, 頑健な処理を実現する。
• 参考スコア（独自算出の注目度）: 0.9423257767158634
• License:
• Abstract: The rapidly increasing computational demands for artificial intelligence (AI) have spurred the exploration of computing principles beyond conventional digital computers. Physical neural networks (PNNs) offer efficient neuromorphic information processing by harnessing the innate computational power of physical processes; however, training their weight parameters is computationally expensive. We propose a training approach for substantially reducing this training cost. Our training approach merges an optimal control method for continuous-time dynamical systems with a biologically plausible training method--direct feedback alignment. In addition to the reduction of training time, this approach achieves robust processing even under measurement errors and noise without requiring detailed system information. The effectiveness was numerically and experimentally verified in an optoelectronic delay system. Our approach significantly extends the range of physical systems practically usable as PNNs.
• Abstract（参考訳）: 人工知能(AI)の計算要求が急速に増加し、従来のデジタルコンピュータを超える計算原理の探求が加速した。 物理ニューラルネットワーク(PNN)は、物理プロセスの自然計算能力を活用することにより、効率的なニューロモルフィック情報処理を提供するが、その重みパラメータのトレーニングは計算に費用がかかる。 本稿では,このトレーニングコストを大幅に削減するトレーニング手法を提案する。 本手法は,生物学的に妥当なトレーニング手法を用いた連続時間力学系の最適制御手法と直接フィードバックアライメントを融合する。 トレーニング時間の短縮に加えて, 詳細なシステム情報を必要とすることなく, 測定誤差やノイズ下においても, 堅牢な処理を実現する。 この効果は光電子遅延システムにおいて数値的および実験的に検証された。 提案手法は,PNNとして実用可能な物理システムの範囲を大きく広げるものである。

関連論文リスト

• On Hardening DNNs against Noisy Computations [5.975221928631025]
  本研究では,雑音に対するロバスト性を高めるために,量子化を用いたニューラルネットワークのトレーニングの有効性について検討する。 我々は,これらの手法を,推論中に発生する雑音を模倣するトレーニング中にノイズ注入を組み込んだノイズ訓練と比較した。
  論文  参考訳（メタデータ） (2025-01-24T14:37:24Z)
• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Neuromorphic analog circuits for robust on-chip always-on learning in spiking neural networks [1.9809266426888898]
  混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。 彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。 我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
  論文  参考訳（メタデータ） (2023-07-12T11:14:25Z)
• Backpropagation-free Training of Deep Physical Neural Networks [0.0]
  我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。 本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:02:49Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Physical Deep Learning with Biologically Plausible Training Method [2.5608506499175094]
  直感フィードバックアライメントと呼ばれる生物学的に妥当なトレーニングアルゴリズムを拡張し,物理深層学習を提案する。 このトレーニングの計算を、シンプルでスケーラブルな物理システム上でエミュレートし、高速化することができる。 本結果は,ニューロモルフィック計算の訓練と加速のための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2022-04-01T05:46:16Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Physical deep learning based on optimal control of dynamical systems [0.0]
  本研究では,連続時間力学系の最適制御に基づくパターン認識を行う。 鍵となる例として、光電子遅延システムにダイナミックスに基づく認識アプローチを適用する。 これは、多くの重みパラメータをトレーニングする必要がある従来の多層ニューラルネットワークとは対照的である。
  論文  参考訳（メタデータ） (2020-12-16T06:38:01Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。