論文の概要: Fractional Deep Neural Network via Constrained Optimization

• arxiv url: http://arxiv.org/abs/2004.00719v1
• Date: Wed, 1 Apr 2020 21:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 17:52:22.996069
• Title: Fractional Deep Neural Network via Constrained Optimization
• Title（参考訳）: 制約付き最適化によるフラクショナルディープニューラルネットワーク
• Authors: Harbir Antil, Ratna Khatri, Rainald L\"ohner, and Deepanshu Verma
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel algorithmic framework for a deep neural network (DNN), which in a mathematically rigorous manner, allows us to incorporate history (or memory) into the network -- it ensures all layers are connected to one another. This DNN, called Fractional-DNN, can be viewed as a time-discretization of a fractional in time nonlinear ordinary differential equation (ODE). The learning problem then is a minimization problem subject to that fractional ODE as constraints. We emphasize that an analogy between the existing DNN and ODEs, with standard time derivative, is well-known by now. The focus of our work is the Fractional-DNN. Using the Lagrangian approach, we provide a derivation of the backward propagation and the design equations. We test our network on several datasets for classification problems. Fractional-DNN offers various advantages over the existing DNN. The key benefits are a significant improvement to the vanishing gradient issue due to the memory effect, and better handling of nonsmooth data due to the network's ability to approximate non-smooth functions.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(dnn)のための新たなアルゴリズムフレームワークを提案する。数学的に厳密な方法では,ネットワークに履歴(あるいはメモリ)を組み込むことで,すべてのレイヤが相互に接続されることを保証する。 この DNN は Fractional-DNN と呼ばれ、時間非線形常微分方程式 (ODE) における分数の時間差分化と見なすことができる。 学習問題は、その分数ODEを制約とする最小化問題である。 従来の DNN と ODE の類似性は,標準時間微分で現在までによく知られていることを強調する。 私たちの仕事の焦点は分数dnnです。 ラグランジュ的手法を用いて、後方伝播と設計方程式の導出を提供する。 分類問題に対するいくつかのデータセット上でネットワークをテストする。 Fractional-DNNは既存のDNNに対して様々な利点を提供している。 主な利点は、メモリ効果による消失する勾配問題に対する大幅な改善と、非滑らかな関数を近似するネットワークの能力による非滑らかなデータの処理の改善である。

関連論文リスト

• RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
  グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。 提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
  論文  参考訳（メタデータ） (2022-12-06T10:08:02Z)
• Quantum-Inspired Tensor Neural Networks for Partial Differential Equations [5.963563752404561]
  ディープラーニング手法は時間と記憶の訓練によって制約される。これらの欠点に対処するため、ニューラルネットワーク(TNN)を実装している。 我々は、TNNが古典的ニューラルネットワーク(DNN)と同等の精度を保ちながら、重要なパラメータの節約を提供することを示した。
  論文  参考訳（メタデータ） (2022-08-03T17:41:11Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• An Optimal Time Variable Learning Framework for Deep Neural Networks [0.0]
  提案するフレームワークは、ResNet, DenseNet, Fractional-DNNなどの既存のネットワークに適用できる。 提案手法は、3D-マクスウェル方程式に悪影響を及ぼす。
  論文  参考訳（メタデータ） (2022-04-18T19:29:03Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations [0.0]
  本稿では,時間依存非線形PDEを解くためのグラフ注意微分方程式(GrADE)を提案する。 提案するアプローチは、FNN、グラフニューラルネットワークと、最近開発されたNeural ODEフレームワークを結合する。 その結果、PDEのモデリングにおける提案フレームワークの能力と、再トレーニングを必要とせず、より大きなドメインへの拡張性を示した。
  論文  参考訳（メタデータ） (2021-08-24T10:49:03Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
  リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。 構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。 各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-20T14:14:35Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。