論文の概要: Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation

• arxiv url: http://arxiv.org/abs/2408.08337v1
• Date: Thu, 15 Aug 2024 11:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:29:47.422723
• Title: Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation
• Title（参考訳）: 2パスフォワード伝搬による大規模光ニューラルネットワークの訓練
• Authors: Amirreza Ahmadnejad, Somayyeh Koohi,
• Abstract要約: 本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。 ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。 統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper addresses the limitations in Optical Neural Networks (ONNs) related to training efficiency, nonlinear function implementation, and large input data processing. We introduce Two-Pass Forward Propagation, a novel training method that avoids specific nonlinear activation functions by modulating and re-entering error with random noise. Additionally, we propose a new way to implement convolutional neural networks using simple neural networks in integrated optical systems. Theoretical foundations and numerical results demonstrate significant improvements in training speed, energy efficiency, and scalability, advancing the potential of optical computing for complex data tasks.
• Abstract（参考訳）: 本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。 ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。 さらに,統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。 理論的基礎と数値的な結果から、訓練速度、エネルギー効率、スケーラビリティが大幅に向上し、複雑なデータタスクに対する光コンピューティングの可能性が向上した。

関連論文リスト

• Training neural networks with end-to-end optical backpropagation [1.1602089225841632]
  光プロセスを用いてニューラルネットワークをトレーニングするアルゴリズムであるバックプロパゲーションの実装方法を示す。 我々のアプローチは、様々なアナログプラットフォーム、材料、ネットワーク構造に適用可能である。 これは、トレーニングタスクと推論タスクの両方において、アナログ光学プロセスに完全に依存するニューラルネットワークを構築する可能性を示している。
  論文  参考訳（メタデータ） (2023-08-09T21:11:26Z)
• Forward-Forward Training of an Optical Neural Network [6.311461340782698]
  光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-30T16:15:57Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations [44.89798007370551]
  本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。 ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。 提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
  論文  参考訳（メタデータ） (2022-03-02T19:09:52Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Scale-, shift- and rotation-invariant diffractive optical networks [0.0]
  D2NN(Diffractive Deep Neural Networks)は、一連のトレーニング可能な表面上の光-物質相互作用を利用して、所望の統計的推論タスクを計算する。 そこで本研究では,学習期間中に入力オブジェクトの変換,回転,スケーリングを導入する,拡散型ネットワークの新たなトレーニング戦略を示す。 このトレーニング戦略は、スケール、シフト、回転不変の解への微分光学ネットワーク設計の進化をうまく導く。
  論文  参考訳（メタデータ） (2020-10-24T02:18:39Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• On transfer learning of neural networks using bi-fidelity data for uncertainty propagation [0.0]
  本研究では,高忠実度モデルと低忠実度モデルの両方から生成された学習データを用いた伝達学習手法の適用について検討する。 前者のアプローチでは、低忠実度データに基づいて、入力を関心の出力にマッピングするニューラルネットワークモデルを訓練する。 次に、高忠実度データを使用して、低忠実度ネットワークの上層(s)のパラメータを適応させたり、より単純なニューラルネットワークをトレーニングして、低忠実度ネットワークの出力を高忠実度モデルのパラメータにマッピングする。
  論文  参考訳（メタデータ） (2020-02-11T15:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。