Fugu-MT 論文翻訳(概要): Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training

論文の概要: Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training

arxiv url: http://arxiv.org/abs/2401.00413v1
Date: Sun, 31 Dec 2023 07:10:15 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 17:29:53.263380
Title: Real-Time FJ/MAC PDE Solvers via Tensorized, Back-Propagation-Free Optical PINN Training
Title（参考訳）: バックプロパゲーションフリー光PINNトレーニングによる実時間FJ/MAC PDE解法
Authors: Yequan Zhao, Xian Xian, Xinling Yu, Ziyue Liu, Zhixiong Chen, Geza Kurczveil, Raymond G. Beausoleil, Zheng Zhang
Abstract要約: 本稿では,物理インフォームドニューラルネットワーク(PINN)のためのオンチップトレーニングフレームワークを開発する。これは、fJ/MACフォトニック電力消費と超低レイテンシで高次元PDEを解決することを目的としている。これは、高次元PDEを解くために適用可能な、最初のリアルタイム光PINNトレーニングフレームワークである。
参考スコア（独自算出の注目度）: 5.809283001227614
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Solving partial differential equations (PDEs) numerically often requires huge computing time, energy cost, and hardware resources in practical applications. This has limited their applications in many scenarios (e.g., autonomous systems, supersonic flows) that have a limited energy budget and require near real-time response. Leveraging optical computing, this paper develops an on-chip training framework for physics-informed neural networks (PINNs), aiming to solve high-dimensional PDEs with fJ/MAC photonic power consumption and ultra-low latency. Despite the ultra-high speed of optical neural networks, training a PINN on an optical chip is hard due to (1) the large size of photonic devices, and (2) the lack of scalable optical memory devices to store the intermediate results of back-propagation (BP). To enable realistic optical PINN training, this paper presents a scalable method to avoid the BP process. We also employ a tensor-compressed approach to improve the convergence and scalability of our optical PINN training. This training framework is designed with tensorized optical neural networks (TONN) for scalable inference acceleration and MZI phase-domain tuning for \textit{in-situ} optimization. Our simulation results of a 20-dim HJB PDE show that our photonic accelerator can reduce the number of MZIs by a factor of $1.17\times 10^3$, with only $1.36$ J and $1.15$ s to solve this equation. This is the first real-size optical PINN training framework that can be applied to solve high-dimensional PDEs.
Abstract（参考訳）: 偏微分方程式 (pdes) を数値的に解くには, 計算時間, エネルギーコスト, ハードウェア資源を必要とすることが多い。これにより、エネルギー予算が制限され、ほぼリアルタイムな応答を必要とする多くのシナリオ(自律システムや超音速流など)での使用が制限されている。光コンピューティングを活用した物理インフォームドニューラルネットワーク(PINN)のオンチップトレーニングフレームワークを開発し,fJ/MAC光電力消費と超低レイテンシで高次元PDEを解くことを目的とした。光ニューラルネットワークの超高速にもかかわらず、(1)フォトニックデバイスの大型化、(2)バックプロパゲーション(BP)の中間結果を格納するスケーラブルな光メモリ装置の欠如により、光チップ上でPINNを訓練することは困難である。本稿では,実際の光PINNトレーニングを実現するために,BPプロセスを回避するスケーラブルな手法を提案する。また、光PINNトレーニングの収束性と拡張性を改善するために、テンソル圧縮方式を用いる。このトレーニングフレームワークは、スケーラブルな推論アクセラレーションのためのテンソル化光学ニューラルネットワーク(TONN)と、 \textit{in-situ}最適化のためのMZI位相領域チューニングを用いて設計されている。 20dim HJB PDEによるシミュレーションの結果、我々のフォトニック加速器はMZIの数を1.17\times 10^3$で減らし、Jが1.36ドル、sが1.15ドルであることがわかった。これは、高次元pdesの解法に応用できる最初の実サイズ光ピン訓練フレームワークである。

関連論文リスト

Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Physics-aware Roughness Optimization for Diffractive Optical Neural Networks [15.397285424104469]
微分光学ニューラルネットワーク(DONN)は、従来のディープニューラルネットワークよりも有望な優位性を示している。本稿では,数値モデリングと実運用における性能差を低減するために,物理対応の回折型光ニューラルネットワークトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-04-04T03:19:36Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
TT-PINN: A Tensor-Compressed Neural PDE Solver for Edge Computing [7.429526302331948]
物理インフォームドニューラルネットワーク(PINN)は、複雑な物理系をモデル化する能力のため、ますます採用されている。本稿では,Helmholtz-Train分解に基づくエンドツーエンド圧縮PINNを提案する。
論文参考訳（メタデータ） (2022-07-04T23:56:27Z)
Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文参考訳（メタデータ） (2022-05-27T03:24:31Z)
Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文参考訳（メタデータ） (2022-05-18T17:49:49Z)
All-optical graph representation learning using integrated diffractive photonic computing units [51.15389025760809]
フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
論文参考訳（メタデータ） (2022-04-23T02:29:48Z)
Silicon photonic subspace neural chip for hardware-efficient deep learning [11.374005508708995]
光ニューラルネットワーク(ONN)は次世代のニューロコンピューティングの候補として期待されている。ハードウェア効率の良いフォトニックサブスペースニューラルネットワークアーキテクチャを考案する。我々は,バタフライ型プログラマブルシリコンフォトニック集積回路上でPSNNを実験的に実証した。
論文参考訳（メタデータ） (2021-11-11T06:34:05Z)
L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization [10.005026783940682]
シリコンフォトニクスベースの光ニューラルネットワーク(ONN)は、効率的なAIのパラダイムシフトを示す可能性のある、有望なハードウェアプラットフォームである。そこで本研究では,スケーラブルなONNマッピングと効率的なin-situ学習を実現するための,閉ループONNオンチップ学習フレームワークL2ightを提案する。
論文参考訳（メタデータ） (2021-10-27T22:53:47Z)
dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。