論文の概要: Perturbative Gradient Training: A novel training paradigm for bridging the gap between deep neural networks and physical reservoir computing

• arxiv url: http://arxiv.org/abs/2506.04523v1
• Date: Thu, 05 Jun 2025 00:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.466306
• Title: Perturbative Gradient Training: A novel training paradigm for bridging the gap between deep neural networks and physical reservoir computing
• Title（参考訳）: 摂動勾配トレーニング:ディープニューラルネットワークと物理貯水池コンピューティングのギャップを埋めるための新しいトレーニングパラダイム
• Authors: Cliff B. Abbott, Mark Elo, Dmytro A. Bozhko,
• Abstract要約: 摂動勾配訓練(英: Perturbative Gradient Training、PGT)は、物理貯水池のブラックボックスの性質によりバックプロパゲーションを行うことができないことを克服する訓練パラダイムである。 PGTは,バックプロパゲーションが非現実的あるいは不可能な場合に,標準的なバックプロパゲーション手法に匹敵する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Perturbative Gradient Training (PGT), a novel training paradigm that overcomes a critical limitation of physical reservoir computing: the inability to perform backpropagation due to the black-box nature of physical reservoirs. Drawing inspiration from perturbation theory in physics, PGT uses random perturbations in the network's parameter space to approximate gradient updates using only forward passes. We demonstrate the feasibility of this approach on both simulated neural network architectures, including a dense network and a transformer model with a reservoir layer, and on experimental hardware using a magnonic auto-oscillation ring as the physical reservoir. Our results show that PGT can achieve performance comparable to that of standard backpropagation methods in cases where backpropagation is impractical or impossible. PGT represents a promising step toward integrating physical reservoirs into deeper neural network architectures and achieving significant energy efficiency gains in AI training.
• Abstract（参考訳）: 本稿では,物理貯水池のブラックボックスの性質によりバックプロパゲーションが不可能な物理貯水池計算の限界を克服する新しい訓練パラダイムである摂動勾配訓練(PGT)を紹介する。 物理学における摂動理論からインスピレーションを得たPGTは、ネットワークのパラメータ空間におけるランダム摂動を用いて、フォワードパスのみを使用して勾配更新を近似する。 本研究では,高密度ネットワークと変圧器モデルを含むニューラルネットワークアーキテクチャと,マグノン自動振動リングを物理貯留層として使用した実験ハードウェアの両方において,このアプローチの有効性を実証する。 その結果, PGTは, バックプロパゲーションが非現実的あるいは不可能な場合に, 標準的なバックプロパゲーション法に匹敵する性能を達成できることが示唆された。 PGTは、物理的な貯水池をより深いニューラルネットワークアーキテクチャに統合し、AIトレーニングにおいて大きなエネルギー効率向上を達成するための、有望なステップである。

関連論文リスト

• Modelling of Underwater Vehicles using Physics-Informed Neural Networks with Control [1.9343033692333778]
  物理インフォームドニューラルネットワーク(PINN)は、物理法則をデータ駆動モデルと統合し、一般化とサンプル効率を改善する。 本研究は,水中車両の力学をモデル化するために設計された物理情報ニューラルネットワーク制御フレームワークのオープンソース実装を紹介する。
  論文  参考訳（メタデータ） (2025-04-28T17:38:57Z)
• Harnessing Nonidealities in Analog In-Memory Computing Circuits: A Physical Modeling Approach for Neuromorphic Systems [5.582327246405357]
  インメモリコンピューティング(IMC)は、従来のディープラーニングアクセラレータに固有のフォン・ノイマンのボトルネックに対処することで、有望なソリューションを提供する。 本稿では、一般微分方程式(ODE)に基づく物理ニューラルネットワーク(PNN)として定式化されたIMCの物理モデルを直接訓練する新しい手法を提案する。 大規模ネットワークのトレーニングを可能にするため,DSTDと呼ばれる手法を提案し,ODEベースのPNNの計算コストを最大20倍、メモリ100倍に削減する。
  論文  参考訳（メタデータ） (2024-12-12T07:22:23Z)
• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  本稿では,DeepONetのトレーニングに採用するランダムサンプリング手法を提案する。 従来のトレーニングアプローチと比較して、テスト全体のエラーを同等あるいは低いものにしながら、トレーニング時間の大幅な削減を実証する。 この結果から,訓練中のトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性とロバスト性を高めることが示唆された。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Asymmetrical estimator for training encapsulated deep photonic neural networks [10.709758849326061]
  フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。 DPNNのカプセル化に適した非対称訓練法(AsyT)を導入する。 AsyTは、最小の読み出し、高速かつ省エネな操作、最小のシステムフットプリントを備えたDPNNのための軽量ソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。