Fugu-MT 論文翻訳(概要): An Optimal Time Variable Learning Framework for Deep Neural Networks

論文の概要: An Optimal Time Variable Learning Framework for Deep Neural Networks

arxiv url: http://arxiv.org/abs/2204.08528v1
Date: Mon, 18 Apr 2022 19:29:03 GMT
ステータス: 処理完了
システム内更新日: 2022-04-20 15:26:03.411797
Title: An Optimal Time Variable Learning Framework for Deep Neural Networks
Title（参考訳）: 深層ニューラルネットワークのための最適時間可変学習フレームワーク
Authors: Harbir Antil, Hugo D\'iaz, Evelyn Herberg
Abstract要約: 提案するフレームワークは、ResNet, DenseNet, Fractional-DNNなどの既存のネットワークに適用できる。提案手法は、3D-マクスウェル方程式に悪影響を及ぼす。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Feature propagation in Deep Neural Networks (DNNs) can be associated to nonlinear discrete dynamical systems. The novelty, in this paper, lies in letting the discretization parameter (time step-size) vary from layer to layer, which needs to be learned, in an optimization framework. The proposed framework can be applied to any of the existing networks such as ResNet, DenseNet or Fractional-DNN. This framework is shown to help overcome the vanishing and exploding gradient issues. Stability of some of the existing continuous DNNs such as Fractional-DNN is also studied. The proposed approach is applied to an ill-posed 3D-Maxwell's equation.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の特徴伝搬は非線形離散力学系に関連付けられる。この論文では、離散化パラメータ(時間ステップサイズ)を、最適化フレームワークで学習する必要がある層から層へ変更させることが特徴である。提案するフレームワークは、ResNet, DenseNet, Fractional-DNNなどの既存のネットワークに適用できる。このフレームワークは、消滅し、爆発する勾配問題を克服するのに役立ちます。フラクタルDNNのような既存の連続DNNの安定性についても検討した。提案手法は3次元マクスウェル方程式に適用できる。

関連論文リスト

FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
論文参考訳（メタデータ） (2021-11-22T17:23:34Z)
GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations [0.0]
本稿では,時間依存非線形PDEを解くためのグラフ注意微分方程式(GrADE)を提案する。提案するアプローチは、FNN、グラフニューラルネットワークと、最近開発されたNeural ODEフレームワークを結合する。その結果、PDEのモデリングにおける提案フレームワークの能力と、再トレーニングを必要とせず、より大きなドメインへの拡張性を示した。
論文参考訳（メタデータ） (2021-08-24T10:49:03Z)
A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文参考訳（メタデータ） (2021-06-06T10:06:07Z)
A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。ハミルトン系の時間離散化から派生したDNNのクラスを提案する。提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文参考訳（メタデータ） (2021-04-27T13:20:24Z)
dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文参考訳（メタデータ） (2021-03-15T19:14:41Z)
Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-07T14:19:07Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文参考訳（メタデータ） (2020-04-01T21:58:21Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。