論文の概要: Scalable Back-Propagation-Free Training of Optical Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2502.12384v1
• Date: Mon, 17 Feb 2025 23:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:29.353444
• Title: Scalable Back-Propagation-Free Training of Optical Physics-Informed Neural Networks
• Title（参考訳）: 光物理インフォームニューラルネットワークのスケーラブルなバックプロパゲーションフリートレーニング
• Authors: Yequan Zhao, Xinling Yu, Xian Xiao, Zhixiong Chen, Ziyue Liu, Geza Kurczveil, Raymond G. Beausoleil, Sijia Liu, Zheng Zhang,
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において有望であることを示す。 フォトニックコンピューティングは、超高速な演算速度のために、この目標を達成するための潜在的なソリューションを提供する。 本稿では,シリコンフォトニックプラットフォーム上でのリアルタイムPINNのトレーニングのための,完全バックプロパゲーションフリー(BPフリー)かつ高給電性フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.726911225088443
• License:
• Abstract: Physics-informed neural networks (PINNs) have shown promise in solving partial differential equations (PDEs), with growing interest in their energy-efficient, real-time training on edge devices. Photonic computing offers a potential solution to achieve this goal because of its ultra-high operation speed. However, the lack of photonic memory and the large device sizes prevent training real-size PINNs on photonic chips. This paper proposes a completely back-propagation-free (BP-free) and highly salable framework for training real-size PINNs on silicon photonic platforms. Our approach involves three key innovations: (1) a sparse-grid Stein derivative estimator to avoid the BP in the loss evaluation of a PINN, (2) a dimension-reduced zeroth-order optimization via tensor-train decomposition to achieve better scalability and convergence in BP-free training, and (3) a scalable on-chip photonic PINN training accelerator design using photonic tensor cores. We validate our numerical methods on both low- and high-dimensional PDE benchmarks. Through circuit simulation based on real device parameters, we further demonstrate the significant performance benefit (e.g., real-time training, huge chip area reduction) of our photonic accelerator.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において有望であり、エッジデバイス上でのエネルギー効率の高いリアルタイムトレーニングへの関心が高まっている。 フォトニックコンピューティングは、超高速な演算速度のために、この目標を達成するための潜在的なソリューションを提供する。 しかし、フォトニックメモリの欠如と大きなデバイスサイズは、フォトニックチップ上でのリアルタイムPINNのトレーニングを妨げている。 本稿では,シリコンフォトニックプラットフォーム上でのリアルタイムPINNのトレーニングのための,完全バックプロパゲーションフリー(BPフリー)かつ高給電性フレームワークを提案する。 提案手法は,(1) PINNの損失評価におけるBPの回避を目的としたスパースグリッドステイン微分推定器,(2) テンソル・トレイン分解による次元再現ゼロ階最適化によるBPフリートレーニングのスケーラビリティと収束性の向上,(3) フォトニック・テンソルコアを用いたスケーラブルなオンチップ・フォトニックPINNトレーニング加速器の設計である。 低次元PDEベンチマークと高次元PDEベンチマークで数値手法を検証する。 実機パラメータに基づく回路シミュレーションにより,フォトニック加速器の性能向上(例えば,リアルタイムトレーニング,巨大なチップ面積削減)を更に実証する。

関連論文リスト

• Asymmetrical estimator for training encapsulated deep photonic neural networks [10.709758849326061]
  フォトニックニューラルネットワーク(PNN)は高速なインプロパゲーションと高帯域幅のパラダイムである。 DPNNのカプセル化に適した非対称訓練法(AsyT)を導入する。 AsyTは、最小の読み出し、高速かつ省エネな操作、最小のシステムフットプリントを備えたDPNNのための軽量ソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training [5.809283001227614]
  本稿では,物理インフォームドニューラルネットワーク(PINN)のためのオンチップトレーニングフレームワークを開発する。 これは、fJ/MACフォトニック電力消費と超低レイテンシで高次元PDEを解決することを目的としている。 これは、高次元PDEを解くために適用可能な、最初のリアルタイム光PINNトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-31T07:10:15Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Tensor-Compressed Back-Propagation-Free Training for (Physics-Informed) Neural Networks [15.188785164091987]
  後方伝播(BP)は、ニューラルネットワークトレーニングの勾配を計算するために広く使われている。 自動微分をサポートするハードウェアやソフトウェアリソースが不足しているため、エッジデバイス上でBPを実装するのは難しい。 本稿では,現実的なニューラルネットワークを学習するためには,前方伝播のみを必要とする,完全にBPフリーなフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-18T23:56:50Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• TT-PINN: A Tensor-Compressed Neural PDE Solver for Edge Computing [7.429526302331948]
  物理インフォームドニューラルネットワーク(PINN)は、複雑な物理系をモデル化する能力のため、ますます採用されている。 本稿では,Helmholtz-Train分解に基づくエンドツーエンド圧縮PINNを提案する。
  論文  参考訳（メタデータ） (2022-07-04T23:56:27Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization [10.005026783940682]
  シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。 そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
  論文  参考訳（メタデータ） (2021-10-27T22:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。