論文の概要: A Two-Stage Training Method for Modeling Constrained Systems With Neural Networks

• arxiv url: http://arxiv.org/abs/2403.02730v1
• Date: Tue, 5 Mar 2024 07:37:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 15:51:25.016530
• Title: A Two-Stage Training Method for Modeling Constrained Systems With Neural Networks
• Title（参考訳）: ニューラルネットワークを用いた制約系モデリングのための2段階学習法
• Authors: C. Coelho, M. Fernanda P. Costa, L.L. Ferr\'as
• Abstract要約: 本稿では,ニューラルネットワークの2段階学習法について詳述する。 最初の段階は、制約違反の尺度を最小化することで、実現可能なNNパラメータを見つけることを目的としている。 第2段階は、許容領域内に留まりながら損失関数を最小化することにより、最適なNNパラメータを見つけることを目的としている。
• 参考スコア（独自算出の注目度）: 3.072340427031969
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Real-world systems are often formulated as constrained optimization problems. Techniques to incorporate constraints into Neural Networks (NN), such as Neural Ordinary Differential Equations (Neural ODEs), have been used. However, these introduce hyperparameters that require manual tuning through trial and error, raising doubts about the successful incorporation of constraints into the generated model. This paper describes in detail the two-stage training method for Neural ODEs, a simple, effective, and penalty parameter-free approach to model constrained systems. In this approach the constrained optimization problem is rewritten as two unconstrained sub-problems that are solved in two stages. The first stage aims at finding feasible NN parameters by minimizing a measure of constraints violation. The second stage aims to find the optimal NN parameters by minimizing the loss function while keeping inside the feasible region. We experimentally demonstrate that our method produces models that satisfy the constraints and also improves their predictive performance. Thus, ensuring compliance with critical system properties and also contributing to reducing data quantity requirements. Furthermore, we show that the proposed method improves the convergence to an optimal solution and improves the explainability of Neural ODE models. Our proposed two-stage training method can be used with any NN architectures.
• Abstract（参考訳）: 実世界のシステムは、しばしば制約付き最適化問題として定式化される。 ニューラルネットワーク(NN)に制約を組み込む手法(Neural Ordinary Differential Equations(Neural ODE)など)が用いられている。 しかし、これらは試行錯誤による手動チューニングを必要とするハイパーパラメータを導入し、生成されたモデルに制約が組み込まれることに疑問を呈する。 本稿では,モデル制約系に対する単純かつ効果的かつペナルティのないアプローチであるニューラルODEの2段階トレーニング手法について詳述する。 このアプローチでは、制約付き最適化問題は2つの段階で解決される2つの制約なしサブプロブレムとして書き換えられる。 最初の段階は、制約違反の尺度を最小化することで、実現可能なNNパラメータを見つけることを目的としている。 第2段階は、許容領域内に留まりながら損失関数を最小化し、最適なNNパラメータを見つけることを目的としている。 実験により,本手法が制約を満たすモデルを生成し,予測性能を向上させることを実証した。 これにより、重要なシステムプロパティへの準拠の確保と、データ量要求の削減に寄与する。 さらに,提案手法により最適解への収束性が向上し,ニューラルodeモデルの説明性が向上することを示す。 提案する2段階のトレーニング手法は,任意のnnアーキテクチャで使用できる。

関連論文リスト

• WANCO: Weak Adversarial Networks for Constrained Optimization problems [5.257895611010853]
  まず、拡張ラグランジアン法を用いてミニマックス問題をミニマックス問題に変換する。 次に、それぞれ原始変数と双対変数を表すために、2つの(または複数の)ディープニューラルネットワークを使用します。 ニューラルネットワークのパラメータは、敵のプロセスによって訓練される。
  論文  参考訳（メタデータ） (2024-07-04T05:37:48Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks [52.5899851000193]
  我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。 このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。 まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
  論文  参考訳（メタデータ） (2023-04-28T17:28:18Z)
• TAOTF: A Two-stage Approximately Orthogonal Training Framework in Deep Neural Networks [8.663152066918821]
  本稿では,ノイズの多いデータシナリオにおいて,この問題を解決するための2段階のほぼ直交学習フレームワーク(TAOTF)を提案する。 提案手法は,本手法が既存の手法よりも安定かつ優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-11-25T05:22:43Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。