論文の概要: In situ fine-tuning of in silico trained Optical Neural Networks

• arxiv url: http://arxiv.org/abs/2506.22122v1
• Date: Fri, 27 Jun 2025 11:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.183679
• Title: In situ fine-tuning of in silico trained Optical Neural Networks
• Title（参考訳）: シリコントレーニング光ニューラルネットワークのin situ微調整
• Authors: Gianluca Kosmella, Ripalta Stabile, Jaron Sanders,
• Abstract要約: 光学ニューラルネットワーク(ONN)のトレーニングは、特にシリコモデルにおける単純化への依存など、ユニークな課題を提起する。 本稿では,サイリコ訓練におけるノイズの特定がONN性能に与える影響を解析する。 本稿では、この性能劣化を軽減するために設計された軽量アルゴリズム、Gradient-Informed Fine-Tuning(GIFT)を紹介する。
• 参考スコア（独自算出の注目度）: 0.4374837991804086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical Neural Networks (ONNs) promise significant advantages over traditional electronic neural networks, including ultrafast computation, high bandwidth, and low energy consumption, by leveraging the intrinsic capabilities of photonics. However, training ONNs poses unique challenges, notably the reliance on simplified in silico models whose trained parameters must subsequently be mapped to physical hardware. This process often introduces inaccuracies due to discrepancies between the idealized digital model and the physical ONN implementation, particularly stemming from noise and fabrication imperfections. In this paper, we analyze how noise misspecification during in silico training impacts ONN performance and we introduce Gradient-Informed Fine-Tuning (GIFT), a lightweight algorithm designed to mitigate this performance degradation. GIFT uses gradient information derived from the noise structure of the ONN to adapt pretrained parameters directly in situ, without requiring expensive retraining or complex experimental setups. GIFT comes with formal conditions under which it improves ONN performance. We also demonstrate the effectiveness of GIFT via simulation on a five-layer feed forward ONN trained on the MNIST digit classification task. GIFT achieves up to $28\%$ relative accuracy improvement compared to the baseline performance under noise misspecification, without resorting to costly retraining. Overall, GIFT provides a practical solution for bridging the gap between simplified digital models and real-world ONN implementations.
• Abstract（参考訳）: 光ニューラルネットワーク(ONN)は、フォトニクスの本質的な能力を活用することにより、超高速計算、高帯域幅、低消費電力を含む従来の電子ニューラルネットワークに対する大きな利点を約束する。 しかし、ONNのトレーニングにはユニークな課題があり、特に、トレーニングされたパラメータを物理ハードウェアにマッピングしなければならないシリコモデルの単純化への依存が顕著である。 このプロセスは、理想化されたデジタルモデルと物理NN実装の相違、特にノイズと製造の不完全性から生じる不正確さをしばしば引き起こす。 本稿では,この性能劣化を緩和する軽量アルゴリズムである Gradient-Informed Fine-Tuning (GIFT) を導入する。 GIFTは、ONNのノイズ構造から派生した勾配情報を用いて、高価な再訓練や複雑な実験装置を必要とせずに、事前訓練されたパラメータを直接その場で適応する。 GIFTには、ONNのパフォーマンスを改善する正式な条件が付属している。 また、MNIST桁分類タスクで訓練した5層フィードフォワードONNにおけるシミュレーションによるGIFTの有効性を示す。 GIFTは、ノイズ不特定条件下でのベースライン性能と比較して、コストのかかるリトレーニングに頼らずに、最大28\%の相対的精度向上を実現している。 GIFTは、単純化されたデジタルモデルと現実世界のONN実装のギャップを埋めるための実用的なソリューションを提供する。

関連論文リスト

• Self-cross Feature based Spiking Neural Networks for Efficient Few-shot Learning [16.156610945877986]
  スパイキングニューラルネットワーク(SNN)に基づく数発の学習フレームワークを提案する。 列車の時間的スパイクダイナミクスを最適化し,識別力を高めるために,時間的効率的なトレーニング損失と情報損失の組み合わせを適用した。
  論文  参考訳（メタデータ） (2025-05-12T16:51:08Z)
• Towards Accurate Binary Spiking Neural Networks: Learning with Adaptive Gradient Modulation Mechanism [14.425611637823511]
  バイナリスパイキングニューラルネットワーク(BSNN)は、SNNのイベント駆動パラダイムを継承すると同時に、バイナライゼーション技術によるストレージ負荷の低減も実現している。 これらの異なるアドバンテージは、BSNNの軽量でエネルギー効率のよい特性を与え、リソース制約のエッジデバイスへのデプロイに最適である。 しかしながら、二成分のシナプス重みと非微分スパイク関数のため、BSNNを効果的に訓練することは未解決の問題である。
  論文  参考訳（メタデータ） (2025-02-20T07:59:08Z)
• Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
  従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 それにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論タイムステップによるデプロイメントの課題に直面していることが多い。 本研究では, 深部SNNのための新しい蒸留フレームワークを提案し, 特定の再学習をすることなく, フルレンジタイムステップにおける性能を最適化する。
  論文  参考訳（メタデータ） (2025-01-27T10:22:38Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Physics-aware Differentiable Discrete Codesign for Diffractive Optical Neural Networks [12.952987240366781]
  本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。 Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。 その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-09-28T17:13:28Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。