論文の概要: Zebra: In-Context and Generative Pretraining for Solving Parametric PDEs
- arxiv url: http://arxiv.org/abs/2410.03437v1
- Date: Tue, 8 Oct 2024 07:44:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:19:23.258285
- Title: Zebra: In-Context and Generative Pretraining for Solving Parametric PDEs
- Title（参考訳）: Zebra: パラメトリックPDEの解決のためのインコンテキストと生成事前トレーニング
- Authors: Louis Serrano, Armand Kassaï Koupaï, Thomas X Wang, Pierre Erbacher, Patrick Gallinari,
- Abstract要約: パラメトリックPDEを推論の勾配適応を必要とせずに解くために設計された新しい自己回帰変換器であるZebraを紹介する。
我々は、Zebraを様々な挑戦的なPDEシナリオで評価し、既存のアプローチと比較して適応性、堅牢性、優れたパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 13.820811214629408
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Solving time-dependent parametric partial differential equations (PDEs) is challenging, as models must adapt to variations in parameters such as coefficients, forcing terms, and boundary conditions. Data-driven neural solvers either train on data sampled from the PDE parameters distribution in the hope that the model generalizes to new instances or rely on gradient-based adaptation and meta-learning to implicitly encode the dynamics from observations. This often comes with increased inference complexity. Inspired by the in-context learning capabilities of large language models (LLMs), we introduce Zebra, a novel generative auto-regressive transformer designed to solve parametric PDEs without requiring gradient adaptation at inference. By leveraging in-context information during both pre-training and inference, Zebra dynamically adapts to new tasks by conditioning on input sequences that incorporate context trajectories or preceding states. This approach enables Zebra to flexibly handle arbitrarily sized context inputs and supports uncertainty quantification through the sampling of multiple solution trajectories. We evaluate Zebra across a variety of challenging PDE scenarios, demonstrating its adaptability, robustness, and superior performance compared to existing approaches.
- Abstract（参考訳）: 時間依存パラメトリック偏微分方程式(PDE)の解法は、モデルが係数、強制項、境界条件などのパラメータのバリエーションに適応する必要があるため、難しい。
データ駆動型ニューラルソルバは、PDEパラメータ分布からサンプリングされたデータをトレーニングし、モデルを新しいインスタンスに一般化するか、あるいは勾配ベースの適応とメタラーニングに頼って観察からダイナミクスを暗黙的にエンコードすることを期待する。
これはしばしば推論の複雑さが増す。
大規模言語モデル(LLM)の文脈内学習能力に触発されて,パラメトリックPDEを推論の勾配適応を必要とせずに解くために設計された,新しい自動回帰変換器であるZebraを導入する。
事前学習と推論の両方でコンテキスト内情報を活用することで、Zebraはコンテキスト軌跡や先行状態を含む入力シーケンスを条件付けすることで、新しいタスクに動的に適応する。
このアプローチにより、Zebraは任意の大きさのコンテキスト入力を柔軟に処理でき、複数の解軌跡のサンプリングを通じて不確実な定量化をサポートすることができる。
我々は、Zebraを様々な挑戦的なPDEシナリオで評価し、既存のアプローチと比較して適応性、堅牢性、優れたパフォーマンスを示す。
関連論文リスト
- GEPS: Boosting Generalization in Parametric PDE Neural Solvers through Adaptive Conditioning [14.939978372699084]
データ駆動型アプローチは、異なるPDEパラメータを持つ非常に多種多様な軌跡を組み込むことでパラメトリックPDEを学ぶ。
GEPSはPdeソルバのGEneralizationを促進するための単純な適応機構である。
完全データ駆動型と物理対応型ニューラルソルバの両方に対するアプローチの汎用性を実証する。
論文 参考訳（メタデータ） (2024-10-31T12:51:40Z) - Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - SPDE priors for uncertainty quantification of end-to-end neural data
assimilation schemes [4.213142548113385]
ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。
本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。
我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
論文 参考訳（メタデータ） (2024-02-02T19:18:12Z) - Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。
我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文 参考訳（メタデータ） (2023-10-19T15:02:45Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Random Grid Neural Processes for Parametric Partial Differential
Equations [5.244037702157957]
我々はPDEのための空間確率物理の新しいクラスと深部潜伏モデルについて紹介する。
パラメトリックPDEの前方および逆問題を解場のガウス過程モデルの構築につながる方法で解く。
物理情報モデルにノイズのあるデータを原則的に組み込むことで、データの入手可能な問題に対する予測を改善する方法を示す。
論文 参考訳（メタデータ） (2023-01-26T11:30:56Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - PySINDy: A comprehensive Python package for robust sparse system
identification [3.0531601852600834]
PySINDyはPythonパッケージで、データ駆動モデル発見に非線形ダイナミクス(SINDy)アプローチのスパース識別を適用するためのツールを提供する。
PySINDyの今回のメジャーアップデートでは、ノイズや制限されたデータからより一般的な微分方程式を発見できるいくつかの高度な機能を実装している。
論文 参考訳（メタデータ） (2021-11-12T19:01:23Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳（メタデータ） (2020-09-29T15:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。