論文の概要: A Lagrangian Dual-based Theory-guided Deep Neural Network

• arxiv url: http://arxiv.org/abs/2008.10159v1
• Date: Mon, 24 Aug 2020 02:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 11:42:41.998805
• Title: A Lagrangian Dual-based Theory-guided Deep Neural Network
• Title（参考訳）: ラグランジアン双対理論に基づく深層ニューラルネットワーク
• Authors: Miao Rong, Dongxiao Zhang, Nanzhe Wang
• Abstract要約: The Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effective of TgNN。 実験により、ラグランジアン双対ベースTgNNの優位性が示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The theory-guided neural network (TgNN) is a kind of method which improves the effectiveness and efficiency of neural network architectures by incorporating scientific knowledge or physical information. Despite its great success, the theory-guided (deep) neural network possesses certain limits when maintaining a tradeoff between training data and domain knowledge during the training process. In this paper, the Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effectiveness of TgNN. We convert the original loss function into a constrained form with fewer items, in which partial differential equations (PDEs), engineering controls (ECs), and expert knowledge (EK) are regarded as constraints, with one Lagrangian variable per constraint. These Lagrangian variables are incorporated to achieve an equitable tradeoff between observation data and corresponding constraints, in order to improve prediction accuracy, and conserve time and computational resources adjusted by an ad-hoc procedure. To investigate the performance of the proposed method, the original TgNN model with a set of optimized weight values adjusted by ad-hoc procedures is compared on a subsurface flow problem, with their L2 error, R square (R2), and computational time being analyzed. Experimental results demonstrate the superiority of the Lagrangian dual-based TgNN.
• Abstract（参考訳）: 理論誘導ニューラルネットワーク(TgNN)は、科学的知識や物理情報を取り入れることで、ニューラルネットワークアーキテクチャの有効性と効率を向上させる手法の一種である。 その大きな成功にもかかわらず、理論誘導(ディープ)ニューラルネットワークは、トレーニングプロセス中にトレーニングデータとドメイン知識とのトレードオフを維持する際に、一定の制限を持つ。 本稿では、TgNNの有効性を改善するために、ラグランジアン二重ベースTgNN(TgNN-LD)を提案する。 偏微分方程式(pdes)、工学制御(ecs)、専門家知識(ek)を制約として、1つのラグランジアン変数を制約として、元の損失関数をより少ない項目で制約された形式に変換する。 これらのラグランジュ変数は、予測精度を向上させるために観測データと対応する制約との等間隔のトレードオフを達成するために組み込まれ、アドホックな手順で調整された時間と計算資源を保存する。 提案手法の性能について検討するため, 地下流れ問題に対して, アドホック法により調整された最適化された重み値のセットを用いたオリジナルのTgNNモデルを比較し, そのL2誤差, R2正方形, 計算時間について検討した。 実験結果はラグランジアン双対TgNNの優位性を示している。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Physics-Informed Neural Networks with Trust-Region Sequential Quadratic Programming [4.557963624437784]
  最近の研究によると、物理情報ニューラルネットワーク(PINN)は比較的複雑な部分微分方程式(PDE)を学習できない可能性がある。 本稿では, 信頼領域逐次準計画法(trSQP-PINN)を導入し, PINNの障害モードに対処する。 PINNのようにペナル化ソフト制約損失を直接訓練するのに対し,本手法はソフト制約損失を利用して信頼範囲半径を適応的に調整しながら,ハード制約損失の線形2次近似を行う。
  論文  参考訳（メタデータ） (2024-09-16T23:22:12Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Error Analysis and Numerical Algorithm for PDE Approximation with Hidden-Layer Concatenated Physics Informed Neural Networks [0.9693477883827689]
  本稿では,隠れた物理情報ニューラルネットワーク(HLConcPINN)を提案する。 隠れたフィードフォワードニューラルネットワーク、修正されたブロックタイムマーチング戦略、偏微分方程式(PDE)を近似するための物理情報アプローチを組み合わせる。 本手法の近似誤差は, 長期間の地平線を有する動的シミュレーションのトレーニング損失によって効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2024-06-10T15:12:53Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
  グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。 本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。 降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
  論文  参考訳（メタデータ） (2022-01-29T15:55:58Z)
• Surrogate and inverse modeling for two-phase flow in porous media via theory-guided convolutional neural network [0.0]
  理論誘導畳み込みニューラルネットワーク(TgCNN)フレームワークは、二相多孔質媒体フロー問題に拡張される。 検討された2つの主変数である圧力と飽和は2つのCNNと同時に近似される。 TgCNNサロゲートは二相流問題において通常のCNNサロゲートよりも精度が高い。
  論文  参考訳（メタデータ） (2021-10-12T14:52:37Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。