Fugu-MT 論文翻訳(概要): Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings

論文の概要: Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings

arxiv url: http://arxiv.org/abs/2107.11496v1
Date: Sat, 24 Jul 2021 00:43:17 GMT
ステータス: 処理完了
システム内更新日: 2021-07-28 10:47:59.580845
Title: Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings
Title（参考訳）: 学生/教師転送学習を用いた多目的/多タスクコロケーション物理型ニューラルネットワークの学習
Authors: Bahador Bahmani and WaiChing Sun
Abstract要約: 本稿では,事前学習ステップとネット間知識伝達アルゴリズムを用いたPINNトレーニングフレームワークを提案する。多目的最適化アルゴリズムは、競合する制約のある物理的インフォームドニューラルネットワークの性能を向上させることができる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a PINN training framework that employs (1) pre-training steps that accelerates and improve the robustness of the training of physics-informed neural network with auxiliary data stored in point clouds, (2) a net-to-net knowledge transfer algorithm that improves the weight initialization of the neural network and (3) a multi-objective optimization algorithm that may improve the performance of a physical-informed neural network with competing constraints. We consider the training and transfer and multi-task learning of physics-informed neural network (PINN) as multi-objective problems where the physics constraints such as the governing equation, boundary conditions, thermodynamic inequality, symmetry, and invariant properties, as well as point cloud used for pre-training can sometimes lead to conflicts and necessitating the seek of the Pareto optimal solution. In these situations, weighted norms commonly used to handle multiple constraints may lead to poor performance, while other multi-objective algorithms may scale poorly with increasing dimensionality. To overcome this technical barrier, we adopt the concept of vectorized objective function and modify a gradient descent approach to handle the issue of conflicting gradients. Numerical experiments are compared the benchmark boundary value problems solved via PINN. The performance of the proposed paradigm is compared against the classical equal-weighted norm approach. Our numerical experiments indicate that the brittleness and lack of robustness demonstrated in some PINN implementations can be overcome with the proposed strategy.
Abstract（参考訳）: 本稿では,(1)物理形ニューラルネットワークのトレーニングを,ポイントクラウドに格納した補助データによる堅牢性向上のための事前学習ステップ,(2)ニューラルネットワークの重み初期化を改善するnet-to-net知識転送アルゴリズム,(3)競合する制約を持つ物理型ニューラルネットワークの性能を向上させる多目的最適化アルゴリズムを用いたピントレーニングフレームワークを提案する。本研究では, 物理インフォームドニューラルネットワーク(PINN)の学習と多タスク学習を, 支配方程式, 境界条件, 熱力学的不等式, 対称性, 不変性などの物理制約が相反し, パレート最適解を求める必要のある点雲である多目的問題とみなす。これらの状況では、重み付きノルムは複数の制約を扱うのに一般的に使われるが、他の多目的アルゴリズムは次元が増大するにつれてスケーラビリティが低下する可能性がある。この技術的障壁を克服するために、ベクトル化対象関数の概念を採用し、矛盾する勾配問題に対処するために勾配降下法を変更する。数値実験は、PINNで解決したベンチマーク境界値問題と比較する。提案されたパラダイムの性能は、古典的な等重み付き規範アプローチと比較される。数値実験の結果,いくつかのピン実装で示される脆性や頑健性の欠如は,提案手法で克服できることが示唆された。

関連論文リスト

WANCO: Weak Adversarial Networks for Constrained Optimization problems [5.257895611010853]
まず、拡張ラグランジアン法を用いてミニマックス問題をミニマックス問題に変換する。次に、それぞれ原始変数と双対変数を表すために、2つの(または複数の)ディープニューラルネットワークを使用します。ニューラルネットワークのパラメータは、敵のプロセスによって訓練される。
論文参考訳（メタデータ） (2024-07-04T05:37:48Z)
Enriched Physics-informed Neural Networks for Dynamic Poisson-Nernst-Planck Systems [0.8192907805418583]
本稿では、動的Poisson-Nernst-Planck(PNP)方程式を解くために、メッシュレス深層学習アルゴリズム、EPINN(enriched Physics-informed Neural Network)を提案する。 EPINNは、従来の物理インフォームドニューラルネットワークを基盤フレームワークとして、損失関数のバランスをとるために適応的な損失重みを追加する。数値計算の結果, 結合された非線形系の解法において, 従来の数値法よりも適用性が高いことがわかった。
論文参考訳（メタデータ） (2024-02-01T02:57:07Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Training Physics-Informed Neural Networks via Multi-Task Optimization for Traffic Density Prediction [3.3823703740215865]
物理インフォームドニューラルネットワーク(PINN)は、機械学習における新たな研究フロンティアである。マルチタスク最適化(MTO)パラダイムに基づく新しいPINNトレーニングフレームワークを提案する。提案手法を実装し,交通密度予測問題に対処するためのPINNの訓練に応用する。
論文参考訳（メタデータ） (2023-07-08T07:11:52Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
論文参考訳（メタデータ） (2023-02-25T19:11:44Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Physics and Equality Constrained Artificial Neural Networks: Application to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文参考訳（メタデータ） (2021-09-30T05:55:35Z)
Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文参考訳（メタデータ） (2020-11-30T06:54:28Z)
Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。