論文の概要: Synergistic Learning with Multi-Task DeepONet for Efficient PDE Problem Solving

• arxiv url: http://arxiv.org/abs/2408.02198v1
• Date: Mon, 5 Aug 2024 02:50:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:45:49.798477
• Title: Synergistic Learning with Multi-Task DeepONet for Efficient PDE Problem Solving
• Title（参考訳）: 効率的なPDE問題解決のためのマルチタスクDeepONetを用いたシナジスティック学習
• Authors: Varun Kumar, Somdatta Goswami, Katiana Kontolati, Michael D. Shields, George Em Karniadakis,
• Abstract要約: マルチタスク学習(MTL)は、複数のタスクから有用な情報を活用し、一般化性能を向上させるために設計された帰納的伝達機構である。 本研究では、偏微分方程式(PDE)によって支配される科学と工学の問題にMTLを適用した。 マルチタスク・ディープ・オペレーター・ネットワーク(MT-DeepONet)を用いて、PDEと複数のジオメトリの様々な関数型ソース・用語の解を同時学習セッションで学習する。
• 参考スコア（独自算出の注目度）: 5.692133861249929
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-task learning (MTL) is an inductive transfer mechanism designed to leverage useful information from multiple tasks to improve generalization performance compared to single-task learning. It has been extensively explored in traditional machine learning to address issues such as data sparsity and overfitting in neural networks. In this work, we apply MTL to problems in science and engineering governed by partial differential equations (PDEs). However, implementing MTL in this context is complex, as it requires task-specific modifications to accommodate various scenarios representing different physical processes. To this end, we present a multi-task deep operator network (MT-DeepONet) to learn solutions across various functional forms of source terms in a PDE and multiple geometries in a single concurrent training session. We introduce modifications in the branch network of the vanilla DeepONet to account for various functional forms of a parameterized coefficient in a PDE. Additionally, we handle parameterized geometries by introducing a binary mask in the branch network and incorporating it into the loss term to improve convergence and generalization to new geometry tasks. Our approach is demonstrated on three benchmark problems: (1) learning different functional forms of the source term in the Fisher equation; (2) learning multiple geometries in a 2D Darcy Flow problem and showcasing better transfer learning capabilities to new geometries; and (3) learning 3D parameterized geometries for a heat transfer problem and demonstrate the ability to predict on new but similar geometries. Our MT-DeepONet framework offers a novel approach to solving PDE problems in engineering and science under a unified umbrella based on synergistic learning that reduces the overall training cost for neural operators.
• Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクから有用な情報を活用し、単一タスク学習と比較して一般化性能を向上させるために設計された帰納的伝達機構である。 従来の機械学習において、データの分散性やニューラルネットワークの過度な適合といった問題に対処するために、広く研究されてきた。 本研究では, 偏微分方程式(PDE)によって支配される科学と工学の問題に対して, MTLを適用した。 しかし、様々な物理プロセスを表す様々なシナリオに対応するためにタスク固有の修正を必要とするため、この文脈でのMTLの実装は複雑である。 そこで本稿では,PDEと複数のジオメトリを同時学習するマルチタスク深層演算ネットワーク(MT-DeepONet)を提案する。 PDEにおけるパラメータ化係数の様々な機能形式を考慮したバニラDeepONetの分岐ネットワークの変更を提案する。 さらに、分岐ネットワークに二項マスクを導入し、損失項に組み込んでパラメータ化されたジオメトリを扱い、新しい幾何学タスクへの収束と一般化を改善する。 提案手法は,(1)フィッシャー方程式の基底項の異なる関数形式を学習すること,(2)2次元ダーシー流問題における複数の測地を学習すること,(3)熱伝達問題に対する3次元パラメータ化された測地を学習すること,および新しいが類似した測地を予測できること,の3つのベンチマーク問題に対して実証された。 我々のMT-DeepONetフレームワークは、ニューラル演算子の全体的なトレーニングコストを低減するためのシナジスティック学習に基づいて、統一された傘の下で、エンジニアリングと科学におけるPDE問題を解決する新しいアプローチを提供する。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Physics-Informed Geometry-Aware Neural Operator [1.2430809884830318]
  工学設計の問題は、可変PDEパラメータとドメイン幾何学の下でパラメトリック部分微分方程式(PDE)を解くことである。 近年、ニューラル演算子はPDE演算子を学習し、PDE解を素早く予測する。 我々はPDEパラメータとドメインジオメトリの両方を同時に一般化する新しい手法であるPhysical-Informed Geometry-Aware Neural Operator (PI-GANO)を導入する。
  論文  参考訳（メタデータ） (2024-08-02T23:11:42Z)
• Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
  PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
  論文  参考訳（メタデータ） (2024-03-19T08:56:20Z)
• GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
  本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。 数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
  論文  参考訳（メタデータ） (2023-12-05T03:03:54Z)
• A foundational neural operator that continuously learns without forgetting [1.0878040851638]
  本稿では,科学計算の基礎モデルとしてNeural Combinatorial Wavelet Neural Operator (NCWNO) の概念を紹介する。 NCWNOは、物理学の様々なスペクトルから学習し、パラメトリック偏微分方程式(PDE)に関連する解作用素に継続的に適応するように特別に設計されている。 提案した基礎モデルには、2つの大きな利点がある: (i) 複数のパラメトリックPDEに対する解演算子を同時に学習し、 (ii) 極小調整の少ない新しいパラメトリックPDEに素早く一般化できる。
  論文  参考訳（メタデータ） (2023-10-29T03:20:10Z)
• Multi-Objective Optimization for Sparse Deep Multi-Task Learning [0.0]
  重み付きチェビシェフスキャラライゼーションを用いたディープニューラルネットワーク(DNN)のトレーニングのための多目的最適化アルゴリズムを提案する。 本研究の目的は,DNNモデルの持続可能性問題,特にDeep Multi-Taskモデルに焦点をあてることである。
  論文  参考訳（メタデータ） (2023-08-23T16:42:27Z)
• iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
  物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。 本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。 提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
  論文  参考訳（メタデータ） (2023-04-10T20:19:20Z)
• Neural Partial Differential Equations with Functional Convolution [30.35306295442881]
  本稿では、隠れた構造を発見し、異なる非線形PDEの解を予測するために、軽量なニューラルPDE表現を提案する。 我々は、数値PDE微分演算子の「翻訳類似性」の先行を利用して、学習モデルとトレーニングデータのスケールを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-10T04:25:38Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Neural TMDlayer: Modeling Instantaneous flow of features via SDE Generators [37.92379202320938]
  本稿では, 微分方程式(SDE)に基づくアイデアが, コンピュータビジョンの一連の問題に対して, 既存のアルゴリズムに新たな修正をもたらすかを検討する。 ショットラーニング,ポイントクラウドトランスフォーマー,深部変分セグメンテーションなど,多数のビジョンタスクについて有望な実験を行った。
  論文  参考訳（メタデータ） (2021-08-19T19:54:04Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。