論文の概要: Forward-Forward Training of an Optical Neural Network

• arxiv url: http://arxiv.org/abs/2305.19170v2
• Date: Thu, 10 Aug 2023 12:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 15:48:21.550648
• Title: Forward-Forward Training of an Optical Neural Network
• Title（参考訳）: 光ニューラルネットワークの前方トレーニング
• Authors: Ilker Oguz, Junjie Ke, Qifei Wang, Feng Yang, Mustafa Yildirim, Niyazi Ulas Dinc, Jih-Liang Hsieh, Christophe Moser and Demetri Psaltis
• Abstract要約: 光ファイバにおける多重モード非線形波動伝搬を利用した実験を行い, 光学系を用いたFFAアプローチの実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことにより、性能が向上する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 6.311461340782698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks (NN) have demonstrated remarkable capabilities in various tasks, but their computation-intensive nature demands faster and more energy-efficient hardware implementations. Optics-based platforms, using technologies such as silicon photonics and spatial light modulators, offer promising avenues for achieving this goal. However, training multiple trainable layers in tandem with these physical systems poses challenges, as they are difficult to fully characterize and describe with differentiable functions, hindering the use of error backpropagation algorithm. The recently introduced Forward-Forward Algorithm (FFA) eliminates the need for perfect characterization of the learning system and shows promise for efficient training with large numbers of programmable parameters. The FFA does not require backpropagating an error signal to update the weights, rather the weights are updated by only sending information in one direction. The local loss function for each set of trainable weights enables low-power analog hardware implementations without resorting to metaheuristic algorithms or reinforcement learning. In this paper, we present an experiment utilizing multimode nonlinear wave propagation in an optical fiber demonstrating the feasibility of the FFA approach using an optical system. The results show that incorporating optical transforms in multilayer NN architectures trained with the FFA, can lead to performance improvements, even with a relatively small number of trainable weights. The proposed method offers a new path to the challenge of training optical NNs and provides insights into leveraging physical transformations for enhancing NN performance.
• Abstract（参考訳）: ニューラルネットワーク(NN)は様々なタスクにおいて顕著な能力を示しているが、その計算集約性はより高速でエネルギー効率の高いハードウェア実装を必要とする。 シリコンフォトニクスや空間光変調器などの技術を用いた光学ベースのプラットフォームは、この目標を達成するための有望な道を提供する。 しかしながら、これらの物理システムと連動して複数のトレーニング可能なレイヤをトレーニングすることは、完全に特徴付け、異なる関数で記述することが困難であるため、エラーバックプロパゲーションアルゴリズムの使用を妨げる。 最近導入された Forward-Forward Algorithm (FFA) は、学習システムの完全な特徴付けの必要性を排除し、多数のプログラム可能なパラメータによる効率的なトレーニングを約束する。 FFAは重みを更新するためにエラー信号のバックプロパゲートを必要としないが、重みは1方向に情報を送るだけで更新される。 各トレーニング可能なウェイトに対する局所損失関数は、メタヒューリスティックアルゴリズムや強化学習に頼ることなく、低消費電力アナログハードウェアの実装を可能にする。 本稿では,光ファイバにおける多モード非線形波動伝搬を用いた実験を行い,光システムを用いたffa手法の実現可能性を示す。 その結果、FFAで訓練された多層NNアーキテクチャに光変換を組み込むことで、比較的少数のトレーニング可能な重量でも性能が向上することを示した。 提案手法は,光NNのトレーニングにおける新たなパスを提供し,NN性能向上のための物理変換の活用に関する洞察を提供する。

関連論文リスト

• Untrained neural network embedded Fourier phase retrieval from few measurements [8.914156789222266]
  本稿では、FPRを少ない測定値で解くために、未学習のニューラルネットワーク埋め込みアルゴリズムを提案する。 再生する画像を表すために生成ネットワークを使用し、ネットワーク構造によって定義された空間に画像を閉じ込める。 未学習NNのパラメータ更新に起因した計算コストを削減するため,明示的正規化と暗黙的正規化を適応的に切り離す高速化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-07-16T16:23:50Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Signal Detection in MIMO Systems with Hardware Imperfections: Message Passing on Neural Networks [101.59367762974371]
  本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。 パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。 我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
  論文  参考訳（メタデータ） (2022-10-08T04:32:58Z)
• Physics-aware Differentiable Discrete Codesign for Diffractive Optical Neural Networks [12.952987240366781]
  本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。 Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。 その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-09-28T17:13:28Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Engineering flexible machine learning systems by traversing functionally-invariant paths [1.4999444543328289]
  ニューラルネットワークのフレキシブルかつ連続的な適応を提供する微分幾何学フレームワークを導入する。 重み空間における測地路に沿った移動として適応を定式化し,二次目的に対応するネットワークを探索する。 控えめな計算資源を用いて、FIPアルゴリズムは連続的な学習とスパーシフィケーションタスクにおけるアートパフォーマンスの状態を同等に達成する。
  論文  参考訳（メタデータ） (2022-04-30T19:44:56Z)
• Scale-, shift- and rotation-invariant diffractive optical networks [0.0]
  D2NN(Diffractive Deep Neural Networks)は、一連のトレーニング可能な表面上の光-物質相互作用を利用して、所望の統計的推論タスクを計算する。 そこで本研究では,学習期間中に入力オブジェクトの変換,回転,スケーリングを導入する,拡散型ネットワークの新たなトレーニング戦略を示す。 このトレーニング戦略は、スケール、シフト、回転不変の解への微分光学ネットワーク設計の進化をうまく導く。
  論文  参考訳（メタデータ） (2020-10-24T02:18:39Z)
• Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
  集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。 このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。 線形光ネットワークの転送行列を再構成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:04:22Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Regularized Adaptation for Stable and Efficient Continuous-Level Learning on Image Processing Networks [7.730087303035803]
  フィルタ遷移ネットワーク(FTN)を用いた新しい連続レベル学習フレームワークを提案する。 FTNは、新しいレベルに容易に適応できる非線形モジュールであり、望ましくない副作用を防ぐために正規化されている。 様々な画像処理結果から,FTNの性能は適応性および適応性において安定であることが示唆された。
  論文  参考訳（メタデータ） (2020-03-11T07:46:57Z)
• Model-Driven Beamforming Neural Networks [47.754731555563836]
  本稿では、一般データおよびモデル駆動ビームフォーミングニューラルネットワーク(BNN)を紹介する。 様々な学習戦略を示し、DLベースのBNNの複雑さの低減についても論じている。 また、BNNの汎用性を向上させるため、トレーニングセットの強化や伝達学習などの強化手法も提供する。
  論文  参考訳（メタデータ） (2020-01-15T12:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。