Fugu-MT 論文翻訳(概要): S$^2$GPT-PINNs: Sparse and Small models for PDEs

論文の概要: S$^2$GPT-PINNs: Sparse and Small models for PDEs

arxiv url: http://arxiv.org/abs/2506.15687v1
Date: Sun, 25 May 2025 14:03:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-29 09:28:14.746011
Title: S$^2$GPT-PINNs: Sparse and Small models for PDEs
Title（参考訳）: S$^2$GPT-PINN:PDEのスパースモデルと小型モデル
Authors: Yajie Ji, Yanlai Chen, Shawn Koohy,
Abstract要約: S$2$GPT-PINNはドメイン固有の(ファミリーの)PDEに適合する。 S$2$GPT-PINNはPINNよりも桁違いに少ないパラメータに依存している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose S$^2$GPT-PINN, a sparse and small model for solving parametric partial differential equations (PDEs). Similar to Small Language Models (SLMs), S$^2$GPT-PINN is tailored to domain-specific (families of) PDEs and characterized by its compact architecture and minimal computational power. Leveraging a small amount of extremely high quality data via a mathematically rigorous greedy algorithm that is enabled by the large full-order models, S$^2$GPT-PINN relies on orders of magnitude less parameters than PINNs to achieve extremely high efficiency via two levels of customizations. The first is knowledge distillation via task-specific activation functions that are transferred from Pre-Trained PINNs. The second is a judicious down-sampling when calculating the physics-informed loss of the network compressing the number of data sites by orders of magnitude to the size of the small model.
Abstract（参考訳）: パラメトリック偏微分方程式(PDE)を解くためのスパースモデルであるS$^2$GPT-PINNを提案する。小型言語モデル (SLM) と同様に、S$^2$GPT-PINN はドメイン固有の PDE に最適化されており、そのコンパクトなアーキテクチャと最小の計算能力によって特徴付けられる。 S$^2$GPT-PINNは、数式的に厳密なグリーディアルゴリズムによって少量の非常に高品質なデータを利用することで、PINNよりも桁違いに少ないパラメータに頼り、2段階のカスタマイズによって極めて高い効率を達成する。 1つ目は、事前訓練されたPINNから転送されるタスク固有の活性化機能による知識蒸留である。 2つ目は、物理インフォームドされたネットワークの損失を計算し、データサイト数を小モデルのサイズに桁違いに圧縮する際の、偏差的なダウンサンプリングである。

関連論文リスト

High precision PINNs in unbounded domains: application to singularity formulation in PDEs [83.50980325611066]
ニューラルネットワークアンサッツの選択、サンプリング戦略、最適化アルゴリズムについて検討する。 1次元バーガース方程式の場合、我々のフレームワークは非常に高精度な解が得られる。 2D Boussinesq 方程式の場合、損失が 4$ の解は citewang2023asymsymptotic よりも小さく、トレーニングステップは少ない。
論文参考訳（メタデータ） (2025-06-24T02:01:44Z)
ANaGRAM: A Natural Gradient Relative to Adapted Model for efficient PINNs learning [2.3129637440028197]
物理情報ニューラルネットワーク(PINN)はPDE駆動システムの解法として強い関心を集めている。本稿では,PINNの高速化とトレーニングの精度向上に寄与する自然な勾配法を提案する。
論文参考訳（メタデータ） (2024-12-14T10:38:09Z)
P$^2$C$^2$Net: PDE-Preserved Coarse Correction Network for efficient prediction of spatiotemporal dynamics [38.53011684603394]
我々はPDE保存型粗補正ネットワーク(P$2$C$2$Net)を導入し、小さなデータ構造における粗いメッシュグリッド上のPDE問題を解決する。モデルは,(1)粗い解(すなわちシステム状態)の更新を学習するトレーニング可能なPDEブロックと,(2)一貫した解の修正を行うニューラルネットワークブロックの2つの相乗的モジュールから構成される。
論文参考訳（メタデータ） (2024-10-29T14:45:07Z)
Two-scale Neural Networks for Partial Differential Equations with Small Parameters [1.6874375111244329]
物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)を小さなパラメータで解くための2スケールニューラルネットワーク手法を提案する。提案手法は, トラルニケートパラメータの探索にフーリエ特徴やその他の計算的課税を加えることなく, 簡単な方法で小さなパラメータでPDEを解くことができる。
論文参考訳（メタデータ） (2024-02-27T05:57:45Z)
iPINNs: Incremental learning for Physics-informed neural networks [66.4795381419701]
物理インフォームドニューラルネットワーク(PINN)は、最近偏微分方程式(PDE)を解く強力なツールとなっている。本稿では,新しいタスクのパラメータを追加せずに連続的に複数のタスクを学習できるインクリメンタルPINNを提案する。提案手法は,PDEごとに個別のサブネットワークを作成し,従来のサブネットワークと重なり合うようにすることで,最も単純なPDEから複数のPDEを学習する。
論文参考訳（メタデータ） (2023-04-10T20:19:20Z)
FO-PINNs: A First-Order formulation for Physics Informed Neural Networks [1.8874301050354767]
物理インフォームドニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、物理システムの応答をシミュレーションデータなしで学習するディープラーニングニューラルネットワークのクラスである。 PINNは前方および逆問題の解決に有効であるが、パラメータ化システムでは精度が大幅に低下する。 PDE損失関数の1次定式化を用いてトレーニングした1次物理学情報ニューラルネットワーク(FO-PINN)を提案する。
論文参考訳（メタデータ） (2022-10-25T20:25:33Z)
Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文参考訳（メタデータ） (2022-05-27T03:24:31Z)
Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文参考訳（メタデータ） (2022-05-18T06:50:44Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文参考訳（メタデータ） (2021-11-06T03:41:34Z)
${\ m N{\small ode}S{\small ig}}$: Random Walk Diffusion meets Hashing for Scalable Graph Embeddings [7.025709586759654]
$rm Nsmall odeSsmall ig$は、バイナリノード表現を計算するスケーラブルな埋め込みモデルである。 $rm N Small odeS Small ig$は、ランダムなウォーク拡散確率を、安定したランダムなプロジェクションハッシュを通じて活用する。
論文参考訳（メタデータ） (2020-10-01T09:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。