論文の概要: Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by
Design
- arxiv url: http://arxiv.org/abs/2105.13205v1
- Date: Thu, 27 May 2021 14:52:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 15:58:43.317029
- Title: Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by
Design
- Title（参考訳）: 非消滅勾配を設計で保証するハミルトンディープニューラルネットワーク
- Authors: Clara Luc\'ia Galimberti, Luca Furieri, Liang Xu, Giancarlo
Ferrari-Trecate
- Abstract要約: バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。
連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。
我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。
MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
- 参考スコア（独自算出の注目度）: 2.752441514346229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) training can be difficult due to vanishing and
exploding gradients during weight optimization through backpropagation. To
address this problem, we propose a general class of Hamiltonian DNNs (H-DNNs)
that stem from the discretization of continuous-time Hamiltonian systems and
include several existing architectures based on ordinary differential
equations. Our main result is that a broad set of H-DNNs ensures non-vanishing
gradients by design for an arbitrary network depth. This is obtained by proving
that, using a semi-implicit Euler discretization scheme, the backward
sensitivity matrices involved in gradient computations are symplectic. We also
provide an upper bound to the magnitude of sensitivity matrices, and show that
exploding gradients can be either controlled through regularization or avoided
for special architectures. Finally, we enable distributed implementations of
backward and forward propagation algorithms in H-DNNs by characterizing
appropriate sparsity constraints on the weight matrices. The good performance
of H-DNNs is demonstrated on benchmark classification problems, including image
classification with the MNIST dataset.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)トレーニングは、バックプロパゲーションによる重み付け最適化中の勾配の消失と爆発のために難しい場合がある。
そこで本研究では, 連続時間ハミルトン系の離散化を起点とし, 常微分方程式に基づく既存のアーキテクチャを含む, ハミルトン dnn (h-dnns) の一般クラスを提案する。
我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。
これは、半単純オイラー離散化スキームを用いて、勾配計算に関わる後方感度行列がシンプレクティックであることを示すことによって得られる。
また, 感度行列の大きさに対する上限を与え, 爆発勾配は正規化によって制御できるか, 特殊なアーキテクチャでは回避できることを示した。
最後に,重み行列に対する適切な空間制約を特徴付けることにより,H-DNNにおける後方・前方伝搬アルゴリズムの分散実装を実現する。
MNISTデータセットを用いた画像分類を含むベンチマーク分類問題において,H-DNNの性能を示す。
関連論文リスト
- Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。
本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。
本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2024-03-15T12:00:37Z) - Wide Neural Networks as Gaussian Processes: Lessons from Deep
Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。
解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。
注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文 参考訳（メタデータ） (2023-10-16T19:00:43Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Physics-Informed Machine Learning of Dynamical Systems for Efficient
Bayesian Inference [0.0]
No-u-turn sampler (NUTS) はベイズ推定法として広く採用されている。
ハミルトンニューラルネットワーク(HNN)は注目に値するアーキテクチャである。
本稿では,HNNを用いてベイズ推定を効率的に行う方法を提案する。
論文 参考訳（メタデータ） (2022-09-19T21:17:23Z) - Equivariant Hypergraph Diffusion Neural Operators [81.32770440890303]
ハイパーグラフを符号化するためにニューラルネットワークを使用するハイパーグラフニューラルネットワーク(HNN)は、データの高次関係をモデル化する有望な方法を提供する。
本研究ではED-HNNと呼ばれる新しいHNNアーキテクチャを提案する。
実世界の9つのハイパーグラフデータセットのノード分類におけるED-HNNの評価を行った。
論文 参考訳（メタデータ） (2022-07-14T06:17:00Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Free Hyperbolic Neural Networks with Limited Radii [32.42488915688723]
双曲型空間で直接動作する双曲型ニューラルネットワーク(HNN)は、双曲型表現の可能性をさらに活用するために最近提案されている。
HNNは、暗黙の階層構造を持つデータセット上でのユークリッドニューラルネットワーク(ENN)よりも優れたパフォーマンスを実現しているが、CIFARやImageNetのような標準分類ベンチマークでは依然としてパフォーマンスが低い。
本稿では、まず、標準認識データセットにおけるHNNの劣悪な性能が、悪名高い失効勾配問題に起因することを示す実証的研究を行う。
我々の分析は、常に双曲的埋め込みを規則化する、Feature Clippingと呼ばれるシンプルだが効果的なソリューションをもたらす。
論文 参考訳（メタデータ） (2021-07-23T22:10:16Z) - A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。
ハミルトン系の時間離散化から派生したDNNのクラスを提案する。
提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文 参考訳（メタデータ） (2021-04-27T13:20:24Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。