論文の概要: Neural Piecewise-Constant Delay Differential Equations

• arxiv url: http://arxiv.org/abs/2201.00960v1
• Date: Tue, 4 Jan 2022 03:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 21:40:55.351026
• Title: Neural Piecewise-Constant Delay Differential Equations
• Title（参考訳）: ニューラルピースワイズ・コンスタント遅延微分方程式
• Authors: Qunxi Zhu and Yifei Shen and Dongsheng Li and Wei Lin
• Abstract要約: 本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,新しい連続深度ニューラルネットワークを紹介する。 ニューラルネットワークPCDDEは,1次元の離散遅延人口動態と実世界のデータセットにおいて,既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.55759866368141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous-depth neural networks, such as the Neural Ordinary Differential Equations (ODEs), have aroused a great deal of interest from the communities of machine learning and data science in recent years, which bridge the connection between deep neural networks and dynamical systems. In this article, we introduce a new sort of continuous-depth neural network, called the Neural Piecewise-Constant Delay Differential Equations (PCDDEs). Here, unlike the recently proposed framework of the Neural Delay Differential Equations (DDEs), we transform the single delay into the piecewise-constant delay(s). The Neural PCDDEs with such a transformation, on one hand, inherit the strength of universal approximating capability in Neural DDEs. On the other hand, the Neural PCDDEs, leveraging the contributions of the information from the multiple previous time steps, further promote the modeling capability without augmenting the network dimension. With such a promotion, we show that the Neural PCDDEs do outperform the several existing continuous-depth neural frameworks on the one-dimensional piecewise-constant delay population dynamics and real-world datasets, including MNIST, CIFAR10, and SVHN.
• Abstract（参考訳）: 近年、neural ordinary differential equation(odes)のような連続的な深層ニューラルネットワークは、ディープラーニングとデータサイエンスのコミュニティから大きな関心を集めており、ディープニューラルネットワークと動的システムの間の接続を橋渡ししている。 本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,連続深度ニューラルネットワークについて紹介する。 ここで,最近提案されたニューラル遅延微分方程式(ddes)の枠組みとは異なり,単一遅延を分割定数遅延に変換する。 このような変換を持つニューラルPCDDEは、ニューラルDDEの普遍近似能力の強さを継承する。 一方、ニューラルネットワークPCDDEは、過去の複数のステップからの情報提供を活用し、ネットワーク次元を増大させることなくモデリング能力をさらに向上させる。 このような促進により、Neural PCDDEは、MNIST、CIFAR10、SVHNなどの1次元の遅延人口動態と実世界のデータセットにおいて、既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。

関連論文リスト

• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
  我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。 我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-04-11T16:09:28Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Neural Delay Differential Equations [9.077775405204347]
  ニューラル遅延微分方程式 (N Neural Delay Differential Equations, NDDEs) と呼ばれる遅延を持つ連続深層ニューラルネットワークの新しいクラスを提案する。 対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。 この結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T06:53:51Z)
• Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture using Feedback-Modulated Delay Loops [0.0]
  本稿では、任意の大きさのディープニューラルネットワークを、複数の時間遅延フィードバックループを持つ単一ニューロンに折り畳む方法を提案する。 本発明の単一ニューロン深部ニューラルネットワークは、単一の非線形性のみを含み、フィードバック信号の調整を適切に調整する。 Folded-in-time DNN(Fit-DNN)と呼ばれる新しい手法は、ベンチマークタスクのセットで有望な性能を示す。
  論文  参考訳（メタデータ） (2020-11-19T21:45:58Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。