論文の概要: Contracting Neural-Newton Solver

• arxiv url: http://arxiv.org/abs/2106.02543v1
• Date: Fri, 4 Jun 2021 15:14:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 14:46:45.683991
• Title: Contracting Neural-Newton Solver
• Title（参考訳）: 収縮型ニューラルニュートンソルバ
• Authors: Samuel Chevalier, Jochen Stiasny, Spyros Chatzivasileiadis
• Abstract要約: 我々は、CoNNS(Contracting Neural-Newton Solver)と呼ばれる繰り返しNNシミュレーションツールを開発した。 本稿では、暗黙のルンゲ・クッタ積分器の中心にあるニュートン解法を、この固定点を求める反復写像としてモデル化する。 NNを通した連続したパスが、一意の定点に収束することが保証されていることを証明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning have set the focus on neural networks (NNs) that can successfully replace traditional numerical solvers in many applications, achieving impressive computing gains. One such application is time domain simulation, which is indispensable for the design, analysis and operation of many engineering systems. Simulating dynamical systems with implicit Newton-based solvers is a computationally heavy task, as it requires the solution of a parameterized system of differential and algebraic equations at each time step. A variety of NN-based methodologies have been shown to successfully approximate the dynamical trajectories computed by numerical time domain solvers at a fraction of the time. However, so far no previous NN-based model has explicitly captured the fact that any predicted point on the time domain trajectory also represents the fixed point of the numerical solver itself. As we show, explicitly capturing this property can lead to significantly increased NN accuracy and much smaller NN sizes. In this paper, we model the Newton solver at the heart of an implicit Runge-Kutta integrator as a contracting map iteratively seeking this fixed point. Our primary contribution is to develop a recurrent NN simulation tool, termed the Contracting Neural-Newton Solver (CoNNS), which explicitly captures the contracting nature of these Newton iterations. To build CoNNS, we train a feedforward NN and mimic this contraction behavior by embedding a series of training constraints which guarantee the mapping provided by the NN satisfies the Banach fixed-point theorem; thus, we are able to prove that successive passes through the NN are guaranteed to converge to a unique, fixed point.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、従来の数値解法を多くのアプリケーションで置き換えることに成功したニューラルネットワーク(NN)に焦点を絞った。 そのような応用の1つは時間領域シミュレーションであり、多くの工学系の設計、解析、運用に不可欠である。 暗黙のニュートンに基づく解法で力学系をシミュレートすることは計算的に重く、各時間ステップで微分方程式と代数方程式のパラメタライズドシステムの解を必要とする。 NNをベースとした様々な手法を用いて,数値時間領域の解法によって計算される動的軌跡を短時間で近似できることが示されている。 しかし、これまでのNNベースのモデルでは、時間領域軌道上の予測点が数値解法自体の定点でもあるという事実を明示的に捉えていない。 この特性を明示的に捉えると、nnの精度が大幅に向上し、nnサイズがはるかに小さくなります。 本稿では、暗黙のルンゲ・クッタ積分器の中心にあるニュートン解法を、この固定点を求める反復写像としてモデル化する。 我々の主な貢献は、繰り返しNNシミュレーションツールであるContracting Neural-Newton Solver(CoNNS)を開発することです。 CoNNSを構築するために、我々はフィードフォワードNNをトレーニングし、NNが提供するマッピングがバナッハの不動点定理を満たすことを保証する一連のトレーニング制約を埋め込むことにより、この収縮挙動を模倣する。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Correctness Verification of Neural Networks Approximating Differential Equations [0.0]
  ニューラルネットワーク(NN)は部分微分方程式(PDE)の解を近似する NNはシミュレーションソフトウェアツールの不可欠な部分となり、複雑な動的システムのシミュレーションを100回以上加速することができる。 この研究は、NN微分を有限差分近似として定義することにより、これらの関数の検証に対処する。 初めて、出力領域の事前知識のないNN関数のバウンダリング問題に取り組む。
  論文  参考訳（メタデータ） (2024-02-12T12:55:35Z)
• Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels [20.53302002578558]
  量子ニューラルネットワーク(QNN)は、近未来のノイズ中間スケール量子(NISQ)コンピュータで効率的に実装可能なパラメータ化マッピングである。 既存の実証的および理論的研究にもかかわらず、QNNトレーニングの収束は完全には理解されていない。
  論文  参考訳（メタデータ） (2023-03-26T22:58:06Z)
• Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
  本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。 提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-11T13:25:45Z)
• A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
  ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。 ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
  論文  参考訳（メタデータ） (2021-04-27T13:20:24Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
  量子畳み込みニューラルネットワーク(QCNN)が提案されている。 我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
  論文  参考訳（メタデータ） (2020-11-05T16:46:13Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。