論文の概要: Optical Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2209.12898v1
• Date: Mon, 26 Sep 2022 04:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 16:36:49.619283
• Title: Optical Neural Ordinary Differential Equations
• Title（参考訳）: 光神経常微分方程式
• Authors: Yun Zhao, Hang Chen, Min Lin, Haiou Zhang, Tao Yan, Xing Lin, Ruqi Huang and Qionghai Dai
• Abstract要約: 隠れ層の連続力学を光学的ODE解法でパラメータ化する光学的ニューラル常微分方程式(ON-ODE)アーキテクチャを提案する。 On-ODEは、PNNとフォトニックインテグレータと光フィードバックループとから構成されており、残留ニューラルネットワーク(ResNet)と、チップ領域占有率を効果的に低減したリカレントニューラルネットワークを表現するように構成できる。
• 参考スコア（独自算出の注目度）: 44.97261923694945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasing the layer number of on-chip photonic neural networks (PNNs) is essential to improve its model performance. However, the successively cascading of network hidden layers results in larger integrated photonic chip areas. To address this issue, we propose the optical neural ordinary differential equations (ON-ODE) architecture that parameterizes the continuous dynamics of hidden layers with optical ODE solvers. The ON-ODE comprises the PNNs followed by the photonic integrator and optical feedback loop, which can be configured to represent residual neural networks (ResNet) and recurrent neural networks with effectively reduced chip area occupancy. For the interference-based optoelectronic nonlinear hidden layer, the numerical experiments demonstrate that the single hidden layer ON-ODE can achieve approximately the same accuracy as the two-layer optical ResNet in image classification tasks. Besides, the ONODE improves the model classification accuracy for the diffraction-based all-optical linear hidden layer. The time-dependent dynamics property of ON-ODE is further applied for trajectory prediction with high accuracy.
• Abstract（参考訳）: オンチップフォトニックニューラルネットワーク(PNN)の層数の増加は、モデルの性能向上に不可欠である。 しかし、ネットワーク隠蔽層の連続カスケードにより、より大きな集積フォトニックチップ領域が得られる。 この問題に対処するため,光学的ODEソルバを用いた隠れ層の連続力学をパラメータ化する光学的ニューラル常微分方程式(ON-ODE)アーキテクチャを提案する。 オンオードは、pnnに続いてフォトニックインテグレータおよび光フィードバックループを含み、チップ領域占有を効果的に低減した残留ニューラルネットワーク(resnet)および再帰ニューラルネットワークを表すように構成することができる。 干渉型光電子非線形隠蔽層では, 単一の隠蔽層ON-ODEが, 画像分類作業における2層光学ResNetとほぼ同じ精度を達成できることを示した。 さらに、ONODEは回折に基づく全光線形隠蔽層のモデル分類精度を向上させる。 on-odeの時間依存ダイナミクス特性は、精度の高い軌道予測にも応用できる。

関連論文リスト

• 1-bit Quantized On-chip Hybrid Diffraction Neural Network Enabled by Authentic All-optical Fully-connected Architecture [4.594367761345624]
  本研究では,行列乗算をDNNに組み込んだ新しいアーキテクチャであるHybrid Diffraction Neural Network(HDNN)を紹介する。 特異位相変調層と振幅変調層を用いて、トレーニングされたニューラルネットワークは、数字認識タスクにおいて96.39%と89%の顕著な精度を示した。
  論文  参考訳（メタデータ） (2024-04-11T02:54:17Z)
• Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
  本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。 我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。 データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-24T16:16:41Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Physics-aware Differentiable Discrete Codesign for Diffractive Optical Neural Networks [12.952987240366781]
  本研究は,Diffractive Optical Neural Network (DONN) の効率的なトレーニングを可能にする,新しいデバイス間ハードウェア・ソフトウェア符号フレームワークを提案する。 Gumbel-Softmaxは、現実世界のデバイスパラメータからDONNの前方関数への微分可能な離散マッピングを可能にするために使用される。 その結果,提案手法は従来の量子化法に比べて大きな利点があることがわかった。
  論文  参考訳（メタデータ） (2022-09-28T17:13:28Z)
• All-optical graph representation learning using integrated diffractive photonic computing units [51.15389025760809]
  フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。 我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。 ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-04-23T02:29:48Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Scaling Properties of Deep Residual Networks [2.6763498831034043]
  勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。 神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。 これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
  論文  参考訳（メタデータ） (2021-05-25T22:31:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。