論文の概要: Backpropagation-free Training of Deep Physical Neural Networks
- arxiv url: http://arxiv.org/abs/2304.11042v3
- Date: Mon, 12 Jun 2023 18:24:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 17:14:32.836318
- Title: Backpropagation-free Training of Deep Physical Neural Networks
- Title（参考訳）: 深部物理ニューラルネットワークのバックプロパゲーションフリートレーニング
- Authors: Ali Momeni, Babak Rahmani, Matthieu Mallejac, Philipp Del Hougne, and
Romain Fleury
- Abstract要約: 我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。
本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the outstanding success of deep learning in
various fields such as vision and natural language processing. This success is
largely indebted to the massive size of deep learning models that is expected
to increase unceasingly. This growth of the deep learning models is accompanied
by issues related to their considerable energy consumption, both during the
training and inference phases, as well as their scalability. Although a number
of work based on unconventional physical systems have been proposed which
addresses the issue of energy efficiency in the inference phase, efficient
training of deep learning models has remained unaddressed. So far, training of
digital deep learning models mainly relies on backpropagation, which is not
suitable for physical implementation as it requires perfect knowledge of the
computation performed in the so-called forward pass of the neural network.
Here, we tackle this issue by proposing a simple deep neural network
architecture augmented by a biologically plausible learning algorithm, referred
to as "model-free forward-forward training". The proposed architecture enables
training deep physical neural networks consisting of layers of physical
nonlinear systems, without requiring detailed knowledge of the nonlinear
physical layers' properties. We show that our method outperforms
state-of-the-art hardware-aware training methods by improving training speed,
decreasing digital computations, and reducing power consumption in physical
systems. We demonstrate the adaptability of the proposed method, even in
systems exposed to dynamic or unpredictable external perturbations. To showcase
the universality of our approach, we train diverse wave-based physical neural
networks that vary in the underlying wave phenomenon and the type of
non-linearity they use, to perform vowel and image classification tasks
experimentally.
- Abstract（参考訳）: 近年では、視覚や自然言語処理など、様々な分野におけるディープラーニングの成功が目覚ましい。
この成功は、急激な増加が予想されるディープラーニングモデルの大規模化に大きく影響している。
ディープラーニングモデルのこの成長は、トレーニングと推論のフェーズとスケーラビリティの両方において、かなりのエネルギー消費に関連する問題を伴う。
推論フェーズにおけるエネルギー効率の問題に対処する非伝統的な物理システムに基づく多くの研究が提案されているが、ディープラーニングモデルの効率的な訓練はいまだに未適応である。
これまでのところ、デジタルディープラーニングモデルのトレーニングは主にバックプロパゲーションに依存しており、ニューラルネットワークのいわゆるフォワードパスで実行される計算の完全な知識を必要とするため、物理実装には適さない。
ここでは、生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを「モデルフリー前方トレーニング」と呼ぶことで、この問題に対処する。
提案アーキテクチャは,非線形な物理層の性質について詳細な知識を必要とせずに,物理非線形系の層からなる深層物理ニューラルネットワークのトレーニングを可能にする。
本手法は, 学習速度の向上, ディジタル計算の削減, 物理システムにおける消費電力の低減により, 最先端のハードウェア・アウェア・トレーニング手法に勝ることを示す。
動的あるいは予測不能な外部摂動にさらされたシステムにおいても,提案手法の適応性を示す。
提案手法の普遍性を示すために,基礎となる波動現象や使用する非線形性の種類によって異なる多様な波動に基づく物理ニューラルネットワークを訓練し,母音および画像分類タスクを実験的に行う。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Physics guided neural networks for modelling of non-linear dynamics [0.0]
この研究は、ディープニューラルネットワークの中間層に部分的に既知の情報を注入することで、モデルの精度を向上し、モデルの不確実性を低減し、トレーニング中に収束性を向上させることを実証する。
これらの物理誘導ニューラルネットワークの価値は、非線形系理論においてよく知られた5つの方程式で表される様々な非線形力学系の力学を学習することによって証明されている。
論文 参考訳（メタデータ） (2022-05-13T19:06:36Z) - Physics-informed ConvNet: Learning Physical Field from a Shallow Neural
Network [0.180476943513092]
マルチ物理システムのモデル化と予測は、避けられないデータ不足とノイズのために依然として課題である。
物理インフォームド・コンボリューション・ネットワーク(PICN)と呼ばれる新しいフレームワークは、CNNの観点から推奨されている。
PICNは物理インフォームド機械学習において、代替のニューラルネットワークソルバとなる可能性がある。
論文 参考訳（メタデータ） (2022-01-26T14:35:58Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳（メタデータ） (2021-11-02T10:51:42Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Deep physical neural networks enabled by a backpropagation algorithm for
arbitrary physical systems [3.7785805908699803]
本稿では,ディープニューラルネットワークモデルを実現するための急進的な代替手段を提案する。
ニューラルネットとして機能する制御可能な物理システムのシーケンスを効率的に学習するために,物理認識トレーニングと呼ばれるハイブリッド物理デジタルアルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-04-27T18:00:02Z) - A deep learning theory for neural networks grounded in physics [2.132096006921048]
ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。
私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
論文 参考訳（メタデータ） (2021-03-18T02:12:48Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Physical deep learning based on optimal control of dynamical systems [0.0]
本研究では,連続時間力学系の最適制御に基づくパターン認識を行う。
鍵となる例として、光電子遅延システムにダイナミックスに基づく認識アプローチを適用する。
これは、多くの重みパラメータをトレーニングする必要がある従来の多層ニューラルネットワークとは対照的である。
論文 参考訳（メタデータ） (2020-12-16T06:38:01Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。