Fugu-MT 論文翻訳(概要): Dual adaptive training of photonic neural networks

論文の概要: Dual adaptive training of photonic neural networks

arxiv url: http://arxiv.org/abs/2212.06141v1
Date: Fri, 9 Dec 2022 05:03:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-14 14:11:35.191704
Title: Dual adaptive training of photonic neural networks
Title（参考訳）: フォトニックニューラルネットワークのデュアルアダプティブトレーニング
Authors: Ziyang Zheng, Zhengyang Duan, Hang Chen, Rui Yang, Sheng Gao, Haiou Zhang, Hongkai Xiong, Xing Lin
Abstract要約: フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
参考スコア（独自算出の注目度）: 30.86507809437016
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Photonic neural network (PNN) is a remarkable analog artificial intelligence (AI) accelerator that computes with photons instead of electrons to feature low latency, high energy efficiency, and high parallelism. However, the existing training approaches cannot address the extensive accumulation of systematic errors in large-scale PNNs, resulting in a significant decrease in model performance in physical systems. Here, we propose dual adaptive training (DAT) that allows the PNN model to adapt to substantial systematic errors and preserves its performance during the deployment. By introducing the systematic error prediction networks with task-similarity joint optimization, DAT achieves the high similarity mapping between the PNN numerical models and physical systems and high-accurate gradient calculations during the dual backpropagation training. We validated the effectiveness of DAT by using diffractive PNNs and interference-based PNNs on image classification tasks. DAT successfully trained large-scale PNNs under major systematic errors and preserved the model classification accuracies comparable to error-free systems. The results further demonstrated its superior performance over the state-of-the-art in situ training approaches. DAT provides critical support for constructing large-scale PNNs to achieve advanced architectures and can be generalized to other types of AI systems with analog computing errors.
Abstract（参考訳）: フォトニックニューラルネットワーク(PNN)は、電子の代わりに光子を用いて計算し、低レイテンシ、高エネルギー効率、高並列性を特徴とする驚くべきアナログ人工知能(AI)アクセラレータである。しかし、既存のトレーニング手法では、大規模PNNにおける体系的エラーの広範な蓄積に対処できないため、物理的システムにおけるモデル性能は大幅に低下する。本稿では、PNNモデルが実質的な系統的エラーに適応し、デプロイメント中にその性能を維持できるデュアル適応トレーニング(DAT)を提案する。タスク類似性協調最適化による系統的誤り予測ネットワークの導入により、pnn数値モデルと物理システムとの高類似度マッピングと、デュアルバックプロパゲーショントレーニング中の高精度勾配計算を実現する。画像分類における拡散型PNNと干渉型PNNを用いてDATの有効性を検証した。 datは大規模なpnnの訓練に成功し、エラーフリーシステムと同等のモデルの分類精度を維持した。その結果,最先端のIn situトレーニングアプローチよりも優れた性能を示した。 DATは、高度なアーキテクチャを実現するために大規模なPNNを構築するための重要なサポートを提供し、アナログコンピューティングエラーのある他のタイプのAIシステムに一般化することができる。

関連論文リスト

Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Comprehensive Online Training and Deployment for Spiking Neural Networks [40.255762156745405]
スパイキングニューラルネットワーク(SNN)は、人工知能(AI)の今後の発展において大きな可能性を秘めていると考えられている現在提案されているオンライントレーニング手法は,時間依存勾配の不分離問題に対処できない。浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
論文参考訳（メタデータ） (2024-10-10T02:39:22Z)
Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
論文参考訳（メタデータ） (2023-12-05T11:55:47Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators [7.152059921639833]
大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
論文参考訳（メタデータ） (2023-02-16T18:25:06Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Physics guided neural networks for modelling of non-linear dynamics [0.0]
この研究は、ディープニューラルネットワークの中間層に部分的に既知の情報を注入することで、モデルの精度を向上し、モデルの不確実性を低減し、トレーニング中に収束性を向上させることを実証する。これらの物理誘導ニューラルネットワークの価値は、非線形系理論においてよく知られた5つの方程式で表される様々な非線形力学系の力学を学習することによって証明されている。
論文参考訳（メタデータ） (2022-05-13T19:06:36Z)
Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文参考訳（メタデータ） (2021-08-09T08:45:47Z)
Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks [2.580765958706854]
我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
論文参考訳（メタデータ） (2021-07-02T10:01:37Z)
Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文参考訳（メタデータ） (2021-04-11T16:37:32Z)
A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文参考訳（メタデータ） (2020-12-21T17:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。