論文の概要: MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data
- arxiv url: http://arxiv.org/abs/2410.06442v1
- Date: Wed, 9 Oct 2024 00:52:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 05:38:53.437845
- Title: MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data
- Title（参考訳）: MaD-Scientist:大規模PINNに基づく先行データを用いた対流拡散反応方程式の解法
- Authors: Mingu Kang, Dongseok Lee, Woojin Cho, Jaehyeon Park, Kookjin Lee, Anthony Gruber, Youngjoon Hong, Noseong Park,
- Abstract要約: 科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。
数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。
本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 22.262191225577244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), like ChatGPT, have shown that even trained with noisy prior data, they can generalize effectively to new tasks through in-context learning (ICL) and pre-training techniques. Motivated by this, we explore whether a similar approach can be applied to scientific foundation models (SFMs). Our methodology is structured as follows: (i) we collect low-cost physics-informed neural network (PINN)-based approximated prior data in the form of solutions to partial differential equations (PDEs) constructed through an arbitrary linear combination of mathematical dictionaries; (ii) we utilize Transformer architectures with self and cross-attention mechanisms to predict PDE solutions without knowledge of the governing equations in a zero-shot setting; (iii) we provide experimental evidence on the one-dimensional convection-diffusion-reaction equation, which demonstrate that pre-training remains robust even with approximated prior data, with only marginal impacts on test accuracy. Notably, this finding opens the path to pre-training SFMs with realistic, low-cost data instead of (or in conjunction with) numerical high-cost data. These results support the conjecture that SFMs can improve in a manner similar to LLMs, where fully cleaning the vast set of sentences crawled from the Internet is nearly impossible.
- Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、ノイズの多い事前データをトレーニングしても、コンテキスト内学習(ICL)と事前学習技術によって、新しいタスクに効果的に一般化できることを示した。
そこで我々は,科学的基礎モデル (SFM) に同様のアプローチを適用することができるか検討した。
我々の方法論は次のように構成されている。
i) 数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)に対する解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。
(II) ゼロショット環境での制御方程式を知らずにPDE解を予測するために, 自己および相互注意機構を備えたトランスフォーマーアーキテクチャを利用する。
3) 1次元対流拡散反応方程式の実験的証拠は, 事前学習が実験精度に限らず, 近似した事前データでも頑健なままであることを示すものである。
この発見は、数値的な高コストデータではなく、現実的で低コストなデータで事前学習するSFMへの道を開く。
これらの結果は,インターネットからクロールされた大量の文の完全クリーニングがほぼ不可能なLSMと同じような方法で,SFMが改善できるという予想を支持する。
関連論文リスト
- Graph Neural Networks and Differential Equations: A hybrid approach for data assimilation of fluid flows [0.0]
本研究では,グラフニューラルネットワーク(GNN)とReynolds-Averaged Navier Stokes(RANS)方程式を組み合わせた新しいハイブリッド手法を提案する。
その結果, 純粋なデータ駆動モデルと比較して, 再構成平均流の精度は著しく向上した。
論文 参考訳（メタデータ） (2024-11-14T14:31:52Z) - Physics Informed Machine Learning (PIML) methods for estimating the remaining useful lifetime (RUL) of aircraft engines [0.0]
本研究の目的は、新たに開発された物理情報機械学習(PIML)を用いて、残りの実用寿命(RUL)航空機エンジンの予測モデルを開発することである。
本稿では,NASAのC-MAPSS(Commercial Modular Aero-Propulsion System Simulation System)データについて概説する。
C-MAPSSは、古典的および深層学習手法でRUL予測に対処する、文献における多くの既存の研究を含む、よく研究されたデータセットである。
論文 参考訳（メタデータ） (2024-06-21T19:55:34Z) - Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。
本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。
提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
論文 参考訳（メタデータ） (2024-06-18T16:20:12Z) - Scaling up Probabilistic PDE Simulators with Structured Volumetric Information [23.654711580674885]
本稿では,一般的な有限体積法と相補的数値線形代数法を組み合わせた離散化手法を提案する。
時相津波シミュレーションを含む実験では、従来のコロケーションに基づく手法よりも、このアプローチのスケーリング挙動が大幅に改善された。
論文 参考訳（メタデータ） (2024-06-07T15:38:27Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳（メタデータ） (2021-05-07T14:49:28Z) - Particles to Partial Differential Equations Parsimoniously [0.0]
粗粒の有効部分微分方程式は、予測や制御のような計算集約的なタスクにかなりの節約をもたらす可能性がある。
本稿では,ニューラルネットワークとマルチスケール計算を組み合わせる枠組みを,方程式自由数値の形で提案する。
素粒子シミュレーションから大まかな粒度進化方程式を抽出し, 未知のマクロスケール変数を用いた手法を提案する。
論文 参考訳（メタデータ） (2020-11-09T15:51:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。