論文の概要: Noise-Resilient Designs for Optical Neural Networks

• arxiv url: http://arxiv.org/abs/2308.06182v1
• Date: Fri, 11 Aug 2023 15:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 13:34:22.502949
• Title: Noise-Resilient Designs for Optical Neural Networks
• Title（参考訳）: 光ニューラルネットワークの耐雑音設計
• Authors: Gianluca Kosmella, Ripalta Stabile, Jaron Sanders
• Abstract要約: 提案する2つの設計は、与えられた、おそらく訓練されたニューラルネットワーク(NN)から構築され、実装を希望する。 どちらの設計も、結果のNNが所望のNNに近い出力を与える能力を持っている。 ONNの奥行きの関数としての雑音の効果を具体的に検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: All analog signal processing is fundamentally subject to noise, and this is also the case in modern implementations of Optical Neural Networks (ONNs). Therefore, to mitigate noise in ONNs, we propose two designs that are constructed from a given, possibly trained, Neural Network (NN) that one wishes to implement. Both designs have the capability that the resulting ONNs gives outputs close to the desired NN. To establish the latter, we analyze the designs mathematically. Specifically, we investigate a probabilistic framework for the first design that establishes that the design is correct, i.e., for any feed-forward NN with Lipschitz continuous activation functions, an ONN can be constructed that produces output arbitrarily close to the original. ONNs constructed with the first design thus also inherit the universal approximation property of NNs. For the second design, we restrict the analysis to NNs with linear activation functions and characterize the ONNs' output distribution using exact formulas. Finally, we report on numerical experiments with LeNet ONNs that give insight into the number of components required in these designs for certain accuracy gains. We specifically study the effect of noise as a function of the depth of an ONN. The results indicate that in practice, adding just a few components in the manner of the first or the second design can already be expected to increase the accuracy of ONNs considerably.
• Abstract（参考訳）: 全てのアナログ信号処理は基本的にノイズの対象となるが、これは光学ニューラルネットワーク(ONN)の現代的な実装にも当てはまる。 そこで,onnにおける雑音を軽減するために,ニューラルネットワーク (nn) の実装を想定した2つの設計を提案する。 どちらの設計も、結果のNNが所望のNNに近い出力を与える能力を持っている。 後者を確立するために,デザインを数学的に解析する。 具体的には、設計が正しいこと、すなわちリプシッツ連続活性化機能を持つフィードフォワードNNに対して、オリジナルに近い出力を任意に生成するONNを構築することができる、最初の設計のための確率的フレームワークについて検討する。 したがって、最初の設計で構築されたONNは、NNの普遍近似特性も継承する。 2つ目の設計では、線形活性化関数を持つNNに解析を制限し、正確な公式を用いてONNの出力分布を特徴付ける。 最後に,LeNet ONNを用いた数値実験について報告する。 ONNの深さの関数としての雑音の影響を具体的に検討する。 その結果,ONNの精度が向上することが期待できるが,実際は第1設計や第2設計の方法に少数のコンポーネントを追加するだけでよいことがわかった。

関連論文リスト

• Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN [19.551319330414085]
  スパイキングニューラルネットワーク(RSNN)は、計算的に効率的で脳に触発された学習モデルとして登場した。 伝統的に、スパースSNNは、まずターゲットタスクのために密度が高く複雑なSNNを訓練することによって得られる。 本稿では,大きめのランダムモデルを用いて,スパースRSNNを設計するためのタスク依存手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T02:36:15Z)
• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Noise Adaptor in Spiking Neural Networks [4.568827262994048]
  低遅延スパイクニューラルネットワーク(SNN)アルゴリズムは大きな関心を集めている。 低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。 SNNを低ビットのANNから変換すると、時折ノイズが発生する可能性がある。
  論文  参考訳（メタデータ） (2023-12-08T16:57:01Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• H2Learn: High-Efficiency Learning Accelerator for High-Accuracy Spiking Neural Networks [25.768116231283045]
  H2Learnは,BPTTに基づくSNN学習において,高い効率を実現する新しいアーキテクチャである。 最新のNVIDIA V100 GPUと比較して、H2Learnは7.38倍の領域節約、5.74-10.20倍のスピードアップ、5.25-7.12倍の省エネを実現している。
  論文  参考訳（メタデータ） (2021-07-25T07:37:17Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。