論文の概要: A Lagrangian Dual-based Theory-guided Deep Neural Network
- arxiv url: http://arxiv.org/abs/2008.10159v1
- Date: Mon, 24 Aug 2020 02:06:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 11:42:41.998805
- Title: A Lagrangian Dual-based Theory-guided Deep Neural Network
- Title(参考訳): ラグランジアン双対理論に基づく深層ニューラルネットワーク
- Authors: Miao Rong, Dongxiao Zhang, Nanzhe Wang
- Abstract要約: The Lagrangian dual-based TgNN (TgNN-LD) is proposed to improve the effective of TgNN。
実験により、ラグランジアン双対ベースTgNNの優位性が示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The theory-guided neural network (TgNN) is a kind of method which improves
the effectiveness and efficiency of neural network architectures by
incorporating scientific knowledge or physical information. Despite its great
success, the theory-guided (deep) neural network possesses certain limits when
maintaining a tradeoff between training data and domain knowledge during the
training process. In this paper, the Lagrangian dual-based TgNN (TgNN-LD) is
proposed to improve the effectiveness of TgNN. We convert the original loss
function into a constrained form with fewer items, in which partial
differential equations (PDEs), engineering controls (ECs), and expert knowledge
(EK) are regarded as constraints, with one Lagrangian variable per constraint.
These Lagrangian variables are incorporated to achieve an equitable tradeoff
between observation data and corresponding constraints, in order to improve
prediction accuracy, and conserve time and computational resources adjusted by
an ad-hoc procedure. To investigate the performance of the proposed method, the
original TgNN model with a set of optimized weight values adjusted by ad-hoc
procedures is compared on a subsurface flow problem, with their L2 error, R
square (R2), and computational time being analyzed. Experimental results
demonstrate the superiority of the Lagrangian dual-based TgNN.
- Abstract(参考訳): 理論誘導ニューラルネットワーク(TgNN)は、科学的知識や物理情報を取り入れることで、ニューラルネットワークアーキテクチャの有効性と効率を向上させる手法の一種である。
その大きな成功にもかかわらず、理論誘導(ディープ)ニューラルネットワークは、トレーニングプロセス中にトレーニングデータとドメイン知識とのトレードオフを維持する際に、一定の制限を持つ。
本稿では、TgNNの有効性を改善するために、ラグランジアン二重ベースTgNN(TgNN-LD)を提案する。
偏微分方程式(pdes)、工学制御(ecs)、専門家知識(ek)を制約として、1つのラグランジアン変数を制約として、元の損失関数をより少ない項目で制約された形式に変換する。
これらのラグランジュ変数は、予測精度を向上させるために観測データと対応する制約との等間隔のトレードオフを達成するために組み込まれ、アドホックな手順で調整された時間と計算資源を保存する。
提案手法の性能について検討するため, 地下流れ問題に対して, アドホック法により調整された最適化された重み値のセットを用いたオリジナルのTgNNモデルを比較し, そのL2誤差, R2正方形, 計算時間について検討した。
実験結果はラグランジアン双対TgNNの優位性を示している。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。
本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。
降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
論文 参考訳(メタデータ) (2022-01-29T15:55:58Z) - Surrogate and inverse modeling for two-phase flow in porous media via
theory-guided convolutional neural network [0.0]
理論誘導畳み込みニューラルネットワーク(TgCNN)フレームワークは、二相多孔質媒体フロー問題に拡張される。
検討された2つの主変数である圧力と飽和は2つのCNNと同時に近似される。
TgCNNサロゲートは二相流問題において通常のCNNサロゲートよりも精度が高い。
論文 参考訳(メタデータ) (2021-10-12T14:52:37Z) - Training multi-objective/multi-task collocation physics-informed neural
network with student/teachers transfer learnings [0.0]
本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。
多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
論文 参考訳(メタデータ) (2021-07-24T00:43:17Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative
Adversarial Network [0.0]
動的偏微分方程式(PDE)の解法として理論誘導生成逆数ネットワーク(TgGAN)を提案する。
不均一モデルパラメータを持つ動的地下流れに対してTgGANを提案する。
数値計算により,TgGANモデルは動的PDEの深層学習において堅牢で信頼性が高いことが示された。
論文 参考訳(メタデータ) (2020-06-02T02:53:26Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。