論文の概要: S$^2$GPT-PINNs: Sparse and Small models for PDEs

• arxiv url: http://arxiv.org/abs/2506.15687v1
• Date: Sun, 25 May 2025 14:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.746011
• Title: S$^2$GPT-PINNs: Sparse and Small models for PDEs
• Title（参考訳）: S$^2$GPT-PINN:PDEのスパースモデルと小型モデル
• Authors: Yajie Ji, Yanlai Chen, Shawn Koohy,
• Abstract要約: S$2$GPT-PINNはドメイン固有の(ファミリーの)PDEに適合する。 S$2$GPT-PINNはPINNよりも桁違いに少ないパラメータに依存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose S$^2$GPT-PINN, a sparse and small model for solving parametric partial differential equations (PDEs). Similar to Small Language Models (SLMs), S$^2$GPT-PINN is tailored to domain-specific (families of) PDEs and characterized by its compact architecture and minimal computational power. Leveraging a small amount of extremely high quality data via a mathematically rigorous greedy algorithm that is enabled by the large full-order models, S$^2$GPT-PINN relies on orders of magnitude less parameters than PINNs to achieve extremely high efficiency via two levels of customizations. The first is knowledge distillation via task-specific activation functions that are transferred from Pre-Trained PINNs. The second is a judicious down-sampling when calculating the physics-informed loss of the network compressing the number of data sites by orders of magnitude to the size of the small model.
• Abstract（参考訳）: パラメトリック偏微分方程式(PDE)を解くためのスパースモデルであるS$^2$GPT-PINNを提案する。 小型言語モデル (SLM) と同様に、S$^2$GPT-PINN はドメイン固有の PDE に最適化されており、そのコンパクトなアーキテクチャと最小の計算能力によって特徴付けられる。 S$^2$GPT-PINNは、数式的に厳密なグリーディアルゴリズムによって少量の非常に高品質なデータを利用することで、PINNよりも桁違いに少ないパラメータに頼り、2段階のカスタマイズによって極めて高い効率を達成する。 1つ目は、事前訓練されたPINNから転送されるタスク固有の活性化機能による知識蒸留である。 2つ目は、物理インフォームドされたネットワークの損失を計算し、データサイト数を小モデルのサイズに桁違いに圧縮する際の、偏差的なダウンサンプリングである。

関連論文リスト

• High precision PINNs in unbounded domains: application to singularity formulation in PDEs [83.50980325611066]
  ニューラルネットワークアンサッツの選択、サンプリング戦略、最適化アルゴリズムについて検討する。 1次元バーガース方程式の場合、我々のフレームワークは非常に高精度な解が得られる。 2D Boussinesq 方程式の場合、損失が 4$ の解は citewang2023asymsymptotic よりも小さく、トレーニングステップは少ない。
  論文  参考訳（メタデータ） (2025-06-24T02:01:44Z)
• ANaGRAM: A Natural Gradient Relative to Adapted Model for efficient PINNs learning [2.3129637440028197]
  物理情報ニューラルネットワーク(PINN)はPDE駆動システムの解法として強い関心を集めている。 本稿では,PINNの高速化とトレーニングの精度向上に寄与する自然な勾配法を提案する。
  論文  参考訳（メタデータ） (2024-12-14T10:38:09Z)
• Two-scale Neural Networks for Partial Differential Equations with Small Parameters [1.6874375111244329]
  物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)を小さなパラメータで解くための2スケールニューラルネットワーク手法を提案する。 提案手法は, トラルニケートパラメータの探索にフーリエ特徴やその他の計算的課税を加えることなく, 簡単な方法で小さなパラメータでPDEを解くことができる。
  論文  参考訳（メタデータ） (2024-02-27T05:57:45Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。