Fugu-MT 論文翻訳(概要): Universal Approximation Property of Hamiltonian Deep Neural Networks

論文の概要: Universal Approximation Property of Hamiltonian Deep Neural Networks

arxiv url: http://arxiv.org/abs/2303.12147v2
Date: Tue, 30 May 2023 07:35:42 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 01:08:46.600089
Title: Universal Approximation Property of Hamiltonian Deep Neural Networks
Title（参考訳）: ハミルトン深層ニューラルネットワークの普遍近似特性
Authors: Muhammad Zakwan, Massimiliano d'Angelo, and Giancarlo Ferrari-Trecate
Abstract要約: 我々はHDNNのフローの一部がコンパクト領域上の任意の連続関数を任意に近似できることを示した。この結果はHDNNの実用化のための確かな理論基盤を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the universal approximation capabilities of Hamiltonian Deep Neural Networks (HDNNs) that arise from the discretization of Hamiltonian Neural Ordinary Differential Equations. Recently, it has been shown that HDNNs enjoy, by design, non-vanishing gradients, which provide numerical stability during training. However, although HDNNs have demonstrated state-of-the-art performance in several applications, a comprehensive study to quantify their expressivity is missing. In this regard, we provide a universal approximation theorem for HDNNs and prove that a portion of the flow of HDNNs can approximate arbitrary well any continuous function over a compact domain. This result provides a solid theoretical foundation for the practical use of HDNNs.
Abstract（参考訳）: 本稿では、ハミルトニア神経常微分方程式の離散化から生じるハミルトニア深層ニューラルネットワーク(hdnn)の普遍近似能力について検討する。近年,hdnnは設計上,非バニッシブ勾配を享受し,トレーニング中に数値的安定性をもたらすことが示されている。しかし、HDNNはいくつかのアプリケーションで最先端の性能を示しているが、その表現性を定量化するための包括的な研究は欠落している。この点において、HDNNの普遍近似定理を提供し、HDNNのフローの一部がコンパクト領域上の任意の連続函数を任意に近似できることを示す。この結果はHDNNの実用化のための確かな理論基盤を提供する。

関連論文リスト

Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文参考訳（メタデータ） (2023-05-26T05:28:10Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文参考訳（メタデータ） (2022-04-15T10:45:26Z)
Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
論文参考訳（メタデータ） (2022-04-11T13:25:45Z)
Extended critical regimes of deep neural networks [0.0]
重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
論文参考訳（メタデータ） (2022-03-24T10:15:50Z)
Contracting Neural-Newton Solver [0.0]
我々は、CoNNS(Contracting Neural-Newton Solver)と呼ばれる繰り返しNNシミュレーションツールを開発した。本稿では、暗黙のルンゲ・クッタ積分器の中心にあるニュートン解法を、この固定点を求める反復写像としてモデル化する。 NNを通した連続したパスが、一意の定点に収束することが保証されていることを証明します。
論文参考訳（メタデータ） (2021-06-04T15:14:12Z)
Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by Design [2.752441514346229]
バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。 MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
論文参考訳（メタデータ） (2021-05-27T14:52:22Z)
A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。ハミルトン系の時間離散化から派生したDNNのクラスを提案する。提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文参考訳（メタデータ） (2021-04-27T13:20:24Z)
Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文参考訳（メタデータ） (2020-11-12T08:32:04Z)
The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文参考訳（メタデータ） (2020-10-02T19:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。