論文の概要: Efficient training for large-scale optical neural network using an evolutionary strategy and attention pruning

• arxiv url: http://arxiv.org/abs/2505.12906v1
• Date: Mon, 19 May 2025 09:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.520531
• Title: Efficient training for large-scale optical neural network using an evolutionary strategy and attention pruning
• Title（参考訳）: 進化戦略とアテンションプルーニングを用いた大規模光ニューラルネットワークの効率的なトレーニング
• Authors: Zhiwei Yang, Zeyang Fan, Yihang Lai, Qi Chen, Tian Zhang, Jian Dai, Kun Xu,
• Abstract要約: MZIベースのブロック光ニューラルネットワーク(BONN)は大規模ネットワークモデルを実現することができる。 大規模BONNのための注意型プルーニング(CAP)アルゴリズムを提案する。 提案するCAPアルゴリズムは,大規模ネットワークモデルや複雑なタスクに優れた可能性を示す。
• 参考スコア（独自算出の注目度）: 14.20309603187239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MZI-based block optical neural networks (BONNs), which can achieve large-scale network models, have increasingly drawn attentions. However, the robustness of the current training algorithm is not high enough. Moreover, large-scale BONNs usually contain numerous trainable parameters, resulting in expensive computation and power consumption. In this article, by pruning matrix blocks and directly optimizing the individuals in population, we propose an on-chip covariance matrix adaptation evolution strategy and attention-based pruning (CAP) algorithm for large-scale BONNs. The calculated results demonstrate that the CAP algorithm can prune 60% and 80% of the parameters for MNIST and Fashion-MNIST datasets, respectively, while only degrades the performance by 3.289% and 4.693%. Considering the influence of dynamic noise in phase shifters, our proposed CAP algorithm (performance degradation of 22.327% for MNIST dataset and 24.019% for Fashion-MNIST dataset utilizing a poor fabricated chip and electrical control with a standard deviation of 0.5) exhibits strongest robustness compared with both our previously reported block adjoint training algorithm (43.963% and 41.074%) and the covariance matrix adaptation evolution strategy (25.757% and 32.871%), respectively. Moreover, when 60% of the parameters are pruned, the CAP algorithm realizes 88.5% accuracy in experiment for the simplified MNIST dataset, which is similar to the simulation result without noise (92.1%). Additionally, we simulationally and experimentally demonstrate that using MZIs with only internal phase shifters to construct BONNs is an efficient way to reduce both the system area and the required trainable parameters. Notably, our proposed CAP algorithm show excellent potential for larger-scale network models and more complex tasks.
• Abstract（参考訳）: 大規模ネットワークモデルを実現するMZIベースのブロック光ニューラルネットワーク(BONN)が注目を集めている。 しかし、現在のトレーニングアルゴリズムの堅牢性は十分ではない。 さらに、大規模BONNは通常、多くのトレーニング可能なパラメータを含んでおり、計算コストと消費電力がかかる。 本稿では,行列ブロックを切断し,個体を直接最適化することにより,大規模BONNに対するオンチップ共分散行列適応進化戦略とアテンションベースプルーニング(CAP)アルゴリズムを提案する。 その結果、CAPアルゴリズムはMNISTデータセットとFashion-MNISTデータセットのパラメータの60%と80%を出力でき、性能は3.289%と4.693%しか低下しないことがわかった。 位相シフト器における動的ノイズの影響を考慮し,本提案のCAPアルゴリズム(MNISTデータセットでは22.327%,Fashion-MNISTデータセットでは24.019%,標準偏差では0.5)は,従来報告したブロック随伴学習アルゴリズム(43.963%,41.074%)と共分散行列適応進化戦略(25.757%,32.871%)と比較して,強い堅牢性を示した。 さらに、パラメータの60%を刈り取ると、CAPアルゴリズムは単純化されたMNISTデータセットの実験において88.5%の精度を実現し、ノイズのないシミュレーション結果(92.1%)と似ている。 さらに,内部位相シフト器のみでBONNを構築するMZIは,システム領域と必要なトレーニング可能なパラメータの両方を削減するのに有効な方法であることがシミュレーションおよび実験的に実証された。 特に,提案したCAPアルゴリズムは,大規模ネットワークモデルや複雑なタスクに優れた可能性を示す。

関連論文リスト

• Efficient Fault Detection in WSN Based on PCA-Optimized Deep Neural Network Slicing Trained with GOA [0.6827423171182154]
  従来の障害検出手法は、効率的なパフォーマンスのためにディープニューラルネットワーク(DNN)の最適化に苦労することが多い。 本研究では,これらの制約に対処するためにGrasshopper Optimization Algorithm(GOA)によって最適化されたDNNと主成分分析(PCA)を組み合わせた新しいハイブリッド手法を提案する。 従来の手法よりも優れた精度とリコールで,99.72%の分類精度を実現している。
  論文  参考訳（メタデータ） (2025-05-11T15:51:56Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit Algorithm for Multi-Layer Convolutional Sparse Coding [4.521915878576165]
  多層畳み込みスパース符号化(ML-CSC)は畳み込みニューラルネットワーク(CNN)を解釈できる 現在の最先端(SOTA)探索アルゴリズムの多くはML-CSCの解を最適化するために複数の繰り返しを必要とする。 本稿では,ML-CSC問題を反復回数の制限なく解くWSEBPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-28T15:53:52Z)
• Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
  本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。 後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
  論文  参考訳（メタデータ） (2021-08-31T05:18:59Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。