論文の概要: Stable Neural Flows
- arxiv url: http://arxiv.org/abs/2003.08063v1
- Date: Wed, 18 Mar 2020 06:27:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 09:51:08.166055
- Title: Stable Neural Flows
- Title(参考訳): 安定な神経流れ
- Authors: Stefano Massaroli, Michael Poli, Michelangelo Bin, Jinkyoo Park,
Atsushi Yamashita, Hajime Asama
- Abstract要約: ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。
学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
- 参考スコア(独自算出の注目度): 15.318500611972441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a provably stable variant of neural ordinary differential
equations (neural ODEs) whose trajectories evolve on an energy functional
parametrised by a neural network. Stable neural flows provide an implicit
guarantee on asymptotic stability of the depth-flows, leading to robustness
against input perturbations and low computational burden for the numerical
solver. The learning procedure is cast as an optimal control problem, and an
approximate solution is proposed based on adjoint sensivity analysis. We
further introduce novel regularizers designed to ease the optimization process
and speed up convergence. The proposed model class is evaluated on non-linear
classification and function approximation tasks.
- Abstract(参考訳): ニューラルネットワークによってパラメータ化されたエネルギー関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。
安定なニューラルフローは、深さ流の漸近安定性を暗黙的に保証し、数値解法に対する入力摂動に対する頑健さと計算負荷を低下させる。
学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
さらに最適化プロセスの容易化と収束の高速化を目的とした新しい正規化器を導入する。
提案するモデルクラスは非線形分類と関数近似タスクで評価される。
関連論文リスト
- The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳(メタデータ) (2023-11-21T00:21:15Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Neuro-symbolic partial differential equation solver [0.0]
本稿では,科学計算における数値離散化からメッシュフリーなニューロシンボリック偏微分方程式解法を開発するための戦略を提案する。
この戦略は、解関数と微分演算子のモデルのニューラルネットワークサロゲートモデルを効率的に訓練するために使用できるという点でユニークなものである。
論文 参考訳(メタデータ) (2022-10-25T22:56:43Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。
提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。
提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
論文 参考訳(メタデータ) (2021-06-02T08:27:12Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - A Deterministic Approximation to Neural SDEs [38.23826389188657]
本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。
我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。
また,決定論的学習の数値的安定性により予測精度も向上する。
論文 参考訳(メタデータ) (2020-06-16T08:00:26Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳(メタデータ) (2020-06-02T11:17:55Z) - Efficient Uncertainty Quantification for Dynamic Subsurface Flow with
Surrogate by Theory-guided Neural Network [0.0]
理論誘導ニューラルネットワーク(TgNN)により構築された代理体を用いた動的地下流れの効率的な不確実性定量化手法を提案する。
パラメータ、時間、位置はニューラルネットワークの入力であり、関心の量は出力である。
トレーニングされたニューラルネットワークは、新しいパラメータで地下流れ問題の解を予測することができる。
論文 参考訳(メタデータ) (2020-04-25T12:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。