論文の概要: Towards Universal Solvers: Using PGD Attack in Active Learning to Increase Generalizability of Neural Operators as Knowledge Distillation from Numerical PDE Solvers

• arxiv url: http://arxiv.org/abs/2510.18989v1
• Date: Tue, 21 Oct 2025 18:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.433497
• Title: Towards Universal Solvers: Using PGD Attack in Active Learning to Increase Generalizability of Neural Operators as Knowledge Distillation from Numerical PDE Solvers
• Title（参考訳）: ユニバーサル・ソルバーに向けて:数値PDEソルバーの知識蒸留としてのニューラル演算子の一般化性を高めるためにPGDアタックを用いたアクティブ・ラーニング
• Authors: Yifei Sun,
• Abstract要約: PDEソルバは細かな時空間離散化と局所線形化を必要とするため、メモリコストが高く、実行時間が遅い。 本稿では, 微分可能な数値解法がコンパクトなニューラル演算子を監督する対向型教師学生蒸留フレームワークを提案する。 Burgers と Navier-Stokes のシステム実験により、対向蒸留は低パラメータコストと高速なニューラル演算子の推論を保ちながらOODを大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 3.780792537808271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nonlinear PDE solvers require fine space-time discretizations and local linearizations, leading to high memory cost and slow runtimes. Neural operators such as FNOs and DeepONets offer fast single-shot inference by learning function-to-function mappings and truncating high-frequency components, but they suffer from poor out-of-distribution (OOD) generalization, often failing on inputs outside the training distribution. We propose an adversarial teacher-student distillation framework in which a differentiable numerical solver supervises a compact neural operator while a PGD-style active sampling loop searches for worst-case inputs under smoothness and energy constraints to expand the training set. Using differentiable spectral solvers enables gradient-based adversarial search and stabilizes sample mining. Experiments on Burgers and Navier-Stokes systems demonstrate that adversarial distillation substantially improves OOD robustness while preserving the low parameter cost and fast inference of neural operators.
• Abstract（参考訳）: 非線形PDEソルバは、細かな時空間離散化と局所線形化を必要とし、メモリコストが高く、実行時間が遅い。 FNOやDeepONetsのようなニューラル作用素は、関数対関数マッピングを学習し、高周波コンポーネントを停止することで、高速な単発推論を提供するが、それらは、トレーニング分布外の入力でしばしば失敗するOOD(out-of-distriion)の一般化に苦しむ。 PGD方式のアクティブサンプリングループは、スムーズさとエネルギー制約下で最悪の入力を探索し、トレーニングセットを拡張する。 微分可能なスペクトルソルバを用いることで、勾配に基づく逆探索が可能となり、サンプルマイニングが安定化される。 Burgers と Navier-Stokes システムの実験により、対向蒸留は低パラメータコストと高速なニューラル演算子の推論を保ちながら、OOD のロバスト性を大幅に改善することを示した。

関連論文リスト

• How deep is your network? Deep vs. shallow learning of transfer operators [0.4473327661758546]
  我々は、データから転送演算子とそのスペクトル分解を学習するためのRaNNDyと呼ばれるランダム化ニューラルネットワークアプローチを提案する。 主な利点は、精度の顕著な低下がなければ、このアプローチがトレーニング時間とリソースを大幅に削減することです。 複素力学系の挙動解析に重要な応用があるクープマン作用素やペロン・フロベニウス作用素など、様々な力学作用素に対する結果を示す。
  論文  参考訳（メタデータ） (2025-09-24T09:38:42Z)
• Accelerating PDE Solvers with Equation-Recast Neural Operator Preconditioning [9.178290601589365]
  Minimal-Data Parametric Neural Operator Preconditioning (MD-PNOP) はパラメトリックPDEソルバを高速化するための新しいパラダイムである。 パラメータ偏差の残差を、トレーニングされたニューラル演算子を使用して、オフラインでソリューションを洗練させる、追加のソース用語として再キャストする。 固定ソース、単一グループ固有値、および多群結合固有値問題に対する完全順序忠実度を維持しつつ、計算時間の50%削減を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-01T12:14:58Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• DeepONet Augmented by Randomized Neural Networks for Efficient Operator Learning in PDEs [5.84093922354671]
  精度と効率のバランスをとるために設計されたハイブリッドアーキテクチャであるRaNN-DeepONetsを提案する。 RaNN-DeepONetsは計算コストを桁違いに削減しながら、同等の精度を達成する。 これらの結果は、PDEシステムにおける演算子学習の効率的な代替手段としてのRaNN-DeepONetsの可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-01T03:05:29Z)
• Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows [6.961408873053586]
  最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。