論文の概要: Training Hybrid Neural Networks with Multimode Optical Nonlinearities Using Digital Twins

• arxiv url: http://arxiv.org/abs/2501.07991v1
• Date: Tue, 14 Jan 2025 10:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:28:37.128992
• Title: Training Hybrid Neural Networks with Multimode Optical Nonlinearities Using Digital Twins
• Title（参考訳）: ディジタルツインを用いたマルチモード光非線形性を用いたハイブリッドニューラルネットワークの訓練
• Authors: Ilker Oguz, Louis J. E. Suter, Jih-Liang Hsieh, Mustafa Yildirim, Niyazi Ulas Dinc, Christophe Moser, Demetri Psaltis,
• Abstract要約: 大規模非線形変換を行う多モードファイバに超短パルス伝搬を導入する。 ハイブリッドアーキテクチャのトレーニングは、光学系を微分的に近似するニューラルモデルによって達成される。 実験により,最先端の画像分類精度とシミュレーション精度が得られた。
• 参考スコア（独自算出の注目度）: 2.8479179029634984
• License:
• Abstract: The ability to train ever-larger neural networks brings artificial intelligence to the forefront of scientific and technical discoveries. However, their exponentially increasing size creates a proportionally greater demand for energy and computational hardware. Incorporating complex physical events in networks as fixed, efficient computation modules can address this demand by decreasing the complexity of trainable layers. Here, we utilize ultrashort pulse propagation in multimode fibers, which perform large-scale nonlinear transformations, for this purpose. Training the hybrid architecture is achieved through a neural model that differentiably approximates the optical system. The training algorithm updates the neural simulator and backpropagates the error signal over this proxy to optimize layers preceding the optical one. Our experimental results achieve state-of-the-art image classification accuracies and simulation fidelity. Moreover, the framework demonstrates exceptional resilience to experimental drifts. By integrating low-energy physical systems into neural networks, this approach enables scalable, energy-efficient AI models with significantly reduced computational demands.
• Abstract（参考訳）: より大型のニューラルネットワークを訓練する能力は、科学と技術的発見の最前線に人工知能をもたらす。 しかし、その指数関数的に増加するサイズは、エネルギーと計算ハードウェアの需要を比例的に増加させる。 ネットワーク内の複雑な物理イベントを固定的で効率的な計算モジュールとして組み込むことで、トレーニング可能なレイヤの複雑さを低減できる。 そこで我々は, 大規模非線形変換を行う多モードファイバの超短パルス伝搬を利用する。 ハイブリッドアーキテクチャのトレーニングは、光学系を微分的に近似するニューラルモデルによって達成される。 トレーニングアルゴリズムは、ニューラルシミュレータを更新し、このプロキシ上でエラー信号をバックプロパゲートして、光学的シミュレータの前の層を最適化する。 実験により,最先端の画像分類精度とシミュレーション精度が得られた。 さらに、このフレームワークは実験的なドリフトに対して例外的なレジリエンスを示す。 低エネルギー物理システムをニューラルネットワークに統合することにより、計算要求を大幅に削減したスケーラブルでエネルギー効率の良いAIモデルを実現する。

関連論文リスト

• Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
  我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。 光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。 我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-09-01T12:48:47Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
  ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:48:08Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Sparse deep neural networks for modeling aluminum electrolysis dynamics [0.5257115841810257]
  我々は、アルミニウム電解シミュレータのシステムダイナミクスをモデル化するためにスパースニューラルネットワークを訓練する。 スパースモデル構造は、対応する高密度ニューラルネットワークと比較して、モデル複雑さを著しく低減する。 実験により、スパースモデルが高密度ニューラルネットワークよりも小さなトレーニングセットからより一般化されることが示されている。
  論文  参考訳（メタデータ） (2022-09-13T09:11:50Z)
• Hybrid training of optical neural networks [1.0323063834827415]
  光学ニューラルネットワークは、機械学習ハードウェアの有望なタイプとして登場しつつある。 これらのネットワークは主に、デジタルシミュレータのシリコトレーニング後に光推論を行うために開発されている。 我々は,光ニューラルネットワークのハイブリッドトレーニングを,多種多様な光ニューラルネットワークに適用できることを実証した。
  論文  参考訳（メタデータ） (2022-03-20T21:16:42Z)
• Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit [38.898230519968116]
  回折処理ユニットを構築することにより、光電子再構成可能な計算パラダイムを提案する。 異なるニューラルネットワークを効率的にサポートし、数百万のニューロンで高いモデル複雑性を達成することができる。 市販の光電子部品を用いたプロトタイプシステムは,最先端のグラフィックス処理ユニットの性能を超越している。
  論文  参考訳（メタデータ） (2020-08-26T16:34:58Z)
• Ultra-Low-Power FDSOI Neural Circuits for Extreme-Edge Neuromorphic Intelligence [2.6199663901387997]
  インメモリコンピューティング 混合信号ニューロモルフィックアーキテクチャはエッジコンピューティングのセンサ処理への応用に期待できる超低消費電力のソリューションを提供する。 本稿では、FDSOI(Fully-Depleted Silicon on Insulator)統合プロセスの特徴を利用する混合信号アナログ/デジタル回路を提案する。
  論文  参考訳（メタデータ） (2020-06-25T09:31:29Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。