Fugu-MT 論文翻訳(概要): Delay Differential Neural Networks

論文の概要: Delay Differential Neural Networks

arxiv url: http://arxiv.org/abs/2012.06800v1
Date: Sat, 12 Dec 2020 12:20:54 GMT
ステータス: 翻訳完了
システム内更新日: 2021-05-10 07:37:51.295062
Title: Delay Differential Neural Networks
Title（参考訳）: 遅延差動ニューラルネットワーク
Authors: Srinivas Anumasa, P.K. Srijith
Abstract要約: 遅延微分方程式 (DDE) に触発された新しいモデル, 遅延微分ニューラルネットワーク (DDNN) を提案する。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。
参考スコア（独自算出の注目度）: 0.2538209532048866
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural ordinary differential equations (NODEs) treat computation of intermediate feature vectors as trajectories of ordinary differential equation parameterized by a neural network. In this paper, we propose a novel model, delay differential neural networks (DDNN), inspired by delay differential equations (DDEs). The proposed model considers the derivative of the hidden feature vector as a function of the current feature vector and past feature vectors (history). The function is modelled as a neural network and consequently, it leads to continuous depth alternatives to many recent ResNet variants. We propose two different DDNN architectures, depending on the way current and past feature vectors are considered. For training DDNNs, we provide a memory-efficient adjoint method for computing gradients and back-propagate through the network. DDNN improves the data efficiency of NODE by further reducing the number of parameters without affecting the generalization performance. Experiments conducted on synthetic and real-world image classification datasets such as Cifar10 and Cifar100 show the effectiveness of the proposed models.
Abstract（参考訳）: ニューラル常微分方程式(NODE)は、中間特徴ベクトルの計算を、ニューラルネットワークによってパラメータ化された常微分方程式の軌跡として扱う。本稿では,遅延微分方程式 (DDE) に着想を得た新しいモデルである遅延微分ニューラルネットワーク (DDNN) を提案する。提案モデルは、隠れ特徴ベクトルの導出を、現在の特徴ベクトルと過去の特徴ベクトル(歴史)の関数として考える。この関数はニューラルネットワークとしてモデル化され、その結果、最近の多くのresnet変種に対する継続的な深さの代替となる。提案するDDNNアーキテクチャは,現在の特徴ベクトルと過去の特徴ベクトルの考え方によって異なる。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 DDNNは、一般化性能に影響を与えることなくパラメータ数をさらに減らし、NODEのデータ効率を改善する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。

関連論文リスト

PMNN:Physical Model-driven Neural Network for solving time-fractional differential equations [17.66402435033991]
時間差分方程式を解くために, 革新的物理モデル駆動ニューラルネットワーク (PMNN) 法を提案する。ディープニューラルネットワーク(DNN)と分数微分の近似を効果的に組み合わせる。
論文参考訳（メタデータ） (2023-10-07T12:43:32Z)
A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文参考訳（メタデータ） (2023-01-24T08:39:20Z)
Semantic Segmentation using Neural Ordinary Differential Equations [3.7588109000722727]
残留ネットワークでは、隠蔽層の離散列を持つ代わりに、隠蔽状態の連続力学の微分をODEでパラメータ化することができる。われわれのニューラルODEは、トレーニング用メモリの57%、テスト用メモリの42%、パラメータの68%を減らし、最先端の結果を達成することができることを示した。
論文参考訳（メタデータ） (2022-09-18T22:13:55Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Scaling Properties of Deep Residual Networks [2.6763498831034043]
勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
論文参考訳（メタデータ） (2021-05-25T22:31:30Z)
A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。その結果,提案手法は勾配法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-10-06T11:12:23Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)
Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文参考訳（メタデータ） (2020-04-01T21:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。