論文の概要: On Robust Classification using Contractive Hamiltonian Neural ODEs

• arxiv url: http://arxiv.org/abs/2203.11805v1
• Date: Tue, 22 Mar 2022 15:16:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 14:19:29.959045
• Title: On Robust Classification using Contractive Hamiltonian Neural ODEs
• Title（参考訳）: 収縮型ハミルトニアンニューラルオデムを用いたロバスト分類について
• Authors: Muhammad Zakwan, Liang Xu, Giancarlo Ferrari-Trecate
• Abstract要約: 我々は、ニューラルネットワーク(NODE)の堅牢性を改善するために収縮理論を用いる。 NODEでは、入力データは力学系の初期状態に対応する。 契約型ハミルトニアン・ヌード(CH-ヌード)のクラスを提案する。
• 参考スコア（独自算出の注目度）: 8.049462923912902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks can be fragile and sensitive to small input perturbations that might cause a significant change in the output. In this paper, we employ contraction theory to improve the robustness of neural ODEs (NODEs). A dynamical system is contractive if all solutions with different initial conditions converge to each other asymptotically. As a consequence, perturbations in initial conditions become less and less relevant over time. Since in NODEs, the input data corresponds to the initial condition of dynamical systems, we show contractivity can mitigate the effect of input perturbations. More precisely, inspired by NODEs with Hamiltonian dynamics, we propose a class of contractive Hamiltonian NODEs (CH-NODEs). By properly tuning a scalar parameter, CH-NODEs ensure contractivity by design and can be trained using standard backpropagation and gradient descent algorithms. Moreover, CH-NODEs enjoy built-in guarantees of non-exploding gradients, which ensures a well-posed training process. Finally, we demonstrate the robustness of CH-NODEs on the MNIST image classification problem with noisy test datasets.
• Abstract（参考訳）: 深層ニューラルネットワークは脆弱で小さな入力摂動に敏感であり、出力に大きな変化を引き起こす可能性がある。 本稿では,ニューラルネットワーク(NODE)のロバスト性を改善するために収縮理論を用いる。 力学系は、異なる初期条件を持つすべての解が漸近的に互いに収束すると収縮する。 その結果、初期条件における摂動は時間とともに重要度が低下する。 NODEでは、入力データは力学系の初期状態に対応するため、収縮度は入力摂動の影響を軽減することができる。 より正確には、ハミルトン力学を持つNODEsにインスパイアされ、契約型ハミルトンNODE(CH-NODEs)のクラスを提案する。 スカラーパラメータを適切に調整することにより、CH-NODEは設計による収縮性を確保し、標準のバックプロパゲーションと勾配降下アルゴリズムを用いて訓練することができる。 さらに、CH-NODEは非拡散勾配の組込み保証を享受し、適切なトレーニングプロセスを保証する。 最後に,ノイズテストデータセットを用いたmnist画像分類問題に対するchノードのロバスト性を示す。

関連論文リスト

• Correctness Verification of Neural Networks Approximating Differential Equations [0.0]
  ニューラルネットワーク(NN)は部分微分方程式(PDE)の解を近似する NNはシミュレーションソフトウェアツールの不可欠な部分となり、複雑な動的システムのシミュレーションを100回以上加速することができる。 この研究は、NN微分を有限差分近似として定義することにより、これらの関数の検証に対処する。 初めて、出力領域の事前知識のないNN関数のバウンダリング問題に取り組む。
  論文  参考訳（メタデータ） (2024-02-12T12:55:35Z)
• Ortho-ODE: Enhancing Robustness and of Neural ODEs against Adversarial Attacks [0.0]
  ODE力学のリプシッツ定数を制御することにより、ロバスト性を大幅に改善できることを示す。 多数のデータセット上で強化された堅牢性を裏付ける。
  論文  参考訳（メタデータ） (2023-05-16T05:37:06Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、最近、前方および逆問題の両方を解決する能力により、多くの注目を集めている。 そこで我々は, PINN の高次積分法を用いて, 硬質化学動力学を解ける新しい PINN アーキテクチャ, Reduced-PINN を提案する。
  論文  参考訳（メタデータ） (2022-08-23T09:20:42Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
  ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。 ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
  論文  参考訳（メタデータ） (2021-04-27T13:20:24Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
  ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
  論文  参考訳（メタデータ） (2020-06-16T22:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。