論文の概要: Operator Learning Using Weak Supervision from Walk-on-Spheres
- arxiv url: http://arxiv.org/abs/2603.01193v2
- Date: Tue, 03 Mar 2026 18:07:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 14:54:12.555858
- Title: Operator Learning Using Weak Supervision from Walk-on-Spheres
- Title（参考訳）: ウォーク・オン・スフェールからの弱スーパービジョンを用いた演算子学習
- Authors: Hrishikesh Viswanath, Hong Chul Nam, Xi Deng, Julius Berner, Anima Anandkumar, Aniket Bera,
- Abstract要約: トレーニング型PDEソルバは、高価なデータ生成や不安定な物理インフォームドニューラルネットワーク(PINN)によってボトルネックされることが多い
モンテカルロ法を用いてPDEの解をトレーニング中の弱監督過程として推定する手法を提案する。
- 参考スコア（独自算出の注目度）: 81.26322147849918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called \emph{Walk-on-Spheres Neural Operator (WoS-NO)} which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75$\times$ improvement in $L_2$-error compared to standard physics-informed training schemes, up to 6.31$\times$ improvement in training speed, and reductions of up to 2.97$\times$ in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO
- Abstract（参考訳）: ニューラルPDEソルバのトレーニングは、高次のデリバティブによる最適化ランドスケープの挑戦を含む、高価なデータ生成や不安定な物理インフォームドニューラルネットワーク(PINN)によってボトルネックになることが多い。
この問題に対処するために,モンテカルロ法を用いてPDEの解を学習中の弱監督のための確率的過程として推定する手法を提案する。
ウォーク・オン・スフェース法を応用して,WoSの弱い監督力を利用して任意のニューラル演算子を訓練する学習手法である「emph{Walk-on-Spheres Neural Operator (WoS-NO)」を導入する。
我々は,WoSアルゴリズムの確率的表現を用いてPDEインスタンスの分布を横断するモンテカルロウォークのコストを補正し,トレーニング中のPDEソリューションの安価でノイズの多い推定値を生成することを提案する。
これは、ニューラルネットワークオペレータがこれらの弱い監督に逆らうように訓練され、オペレータがPDEのファミリー全体に対する一般化された解マップを学ぶことができる、データフリーな物理学インフォームド目的に定式化される。
この戦略は、高価な事前計算されたデータセットを必要とせず、メモリ集約的で不安定な損失関数に対する高次微分の計算を回避し、新しいPDEパラメータやドメインへのゼロショットの一般化を実証する。
実験の結果、同じ数のトレーニングステップに対して、標準的な物理インフォームドトレーニングスキームと比較して最大8.75$\times$-errorの改善、トレーニング速度の最大6.31$\times$改善、GPUメモリ消費の最大2.97$\times$の改善が示されている。
We present the code at https://github.com/neuraloperator/WoS-NO
関連論文リスト
- VAE-DNN: Energy-Efficient Trainable-by-Parts Surrogate Model For Parametric Partial Differential Equations [49.1574468325115]
本稿では, 前方および逆パラメータ化非線形偏微分方程式を解くための, トレーニング可能な各部分サロゲートモデルを提案する。
提案手法はエンコーダを用いて高次元の入力$y(bmx)$を低次元の潜在空間である$bmmu_bmphi_y$に還元する。
完全連結ニューラルネットワークを用いて、Pの潜伏空間に$bmmu_bmphi_y$、$bmmu_bmphi_h$をマッピングする。
論文 参考訳（メタデータ） (2025-08-05T18:37:32Z) - Optimization and generalization analysis for two-layer physics-informed neural networks without over-parametrization [0.6215404942415159]
本研究は、物理インフォームドニューラルネットワーク(PINN)を用いた最小二乗回帰の解法における勾配降下(SGD)の挙動に焦点を当てる。
ネットワーク幅が$epsilon$と問題のみに依存するしきい値を超えると、トレーニング損失と期待損失は$O(epsilon)$以下になる。
論文 参考訳（メタデータ） (2025-07-22T09:24:22Z) - TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。
SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
論文 参考訳（メタデータ） (2025-01-04T20:51:51Z) - Pretraining a Neural Operator in Lower Dimensions [7.136205674624813]
我々は,データ収集が最安値である低次元PDE(PreLowD)上で,ニューラルPDEソルバを事前訓練することを目指している。
我々は,この事前学習戦略の有効性を,高次元のPDEで評価した。
私たちの仕事は、この事前訓練戦略を最大限に活用するために、微調整構成の効果に光を当てています。
論文 参考訳（メタデータ） (2024-07-24T20:06:12Z) - Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
本研究では,PDE演算子学習のための教師なし事前学習を設計する。
シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳（メタデータ） (2024-02-24T06:27:33Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - Deep learning for inverse problems with unknown operator [0.0]
フォワード演算子$T$が未知の逆問題では、関数$f_i$とノイズの多いイメージ$Tf_i$からなるトレーニングデータにアクセスできます。
本稿では,データに最小限の仮定を必要とする新しい手法を提案し,学習点数と雑音レベルに依存する再現率を示す。
論文 参考訳（メタデータ） (2021-08-05T17:21:12Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳（メタデータ） (2020-10-12T01:59:18Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Large-time asymptotics in deep learning [0.0]
トレーニングにおける最終時間の$T$(対応するResNetの深さを示す可能性がある)の影響について検討する。
古典的な$L2$-正規化経験的リスク最小化問題に対して、トレーニングエラーが$mathcalOleft(frac1Tright)$のほとんどであることを示す。
$ellp$-距離損失の設定において、トレーニングエラーと最適パラメータの両方が$mathcalOleft(e-mu)の順序のほとんどであることを示す。
論文 参考訳（メタデータ） (2020-08-06T07:33:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。