論文の概要: A unified framework for Hamiltonian deep neural networks

• arxiv url: http://arxiv.org/abs/2104.13166v1
• Date: Tue, 27 Apr 2021 13:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 13:25:08.153958
• Title: A unified framework for Hamiltonian deep neural networks
• Title（参考訳）: ハミルトンディープニューラルネットワークのための統一的枠組み
• Authors: Clara L. Galimberti, Liang Xu, Giancarlo Ferrari Trecate
• Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。 ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
• 参考スコア（独自算出の注目度）: 3.0934684265555052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) can be difficult due to the occurrence of vanishing/exploding gradients during weight optimization. To avoid this problem, we propose a class of DNNs stemming from the time discretization of Hamiltonian systems. The time-invariant version of the corresponding Hamiltonian models enjoys marginal stability, a property that, as shown in previous works and for specific DNNs architectures, can mitigate convergence to zero or divergence of gradients. In the present paper, we formally study this feature by deriving and analysing the backward gradient dynamics in continuous time. The proposed Hamiltonian framework, besides encompassing existing networks inspired by marginally stable ODEs, allows one to derive new and more expressive architectures. The good performance of the novel DNNs is demonstrated on benchmark classification problems, including digit recognition using the MNIST dataset.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配の消滅/拡大が発生するため困難である。 この問題を回避するために、ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 対応するハミルトンモデルの時間不変バージョンは、以前の研究や特定のDNNアーキテクチャで示されているように、勾配のゼロあるいは分岐への収束を緩和できる性質である限界安定性を享受する。 本稿では,この特徴を連続時間における逆勾配ダイナミクスの導出と解析により正式に研究する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。 新たなDNNの性能は、MNISTデータセットを用いた数値認識を含むベンチマーク分類問題で実証される。

関連論文リスト

• Symplectic Structure-Aware Hamiltonian (Graph) Embeddings [21.0714383010908]
  ハミルトン系にインスパイアされたGNNは、そのような埋め込みの動的性質に対処するために提案されている。 我々は、より柔軟なノード特徴更新のためにハミルトン力学を一般化する新しいアプローチであるSymphlectic Structure-Aware Hamiltonian GNN (SAH-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-09-09T22:27:38Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
  本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。 提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-11T13:25:45Z)
• Contracting Neural-Newton Solver [0.0]
  我々は、CoNNS(Contracting Neural-Newton Solver)と呼ばれる繰り返しNNシミュレーションツールを開発した。 本稿では、暗黙のルンゲ・クッタ積分器の中心にあるニュートン解法を、この固定点を求める反復写像としてモデル化する。 NNを通した連続したパスが、一意の定点に収束することが保証されていることを証明します。
  論文  参考訳（メタデータ） (2021-06-04T15:14:12Z)
• Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by Design [2.752441514346229]
  バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。 連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。 我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。 MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
  論文  参考訳（メタデータ） (2021-05-27T14:52:22Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。