論文の概要: Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs

• arxiv url: http://arxiv.org/abs/2603.24002v1
• Date: Wed, 25 Mar 2026 07:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.173028
• Title: Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs
• Title（参考訳）: 高次元・高次PINNの確率次元自由零次推定器
• Authors: Zhangyong Liang, Ji Zhang,
• Abstract要約: 本稿では,空間とメモリの両方において次元に依存しない複雑性を実現する統一的なフレームワークを提案する。 textbfSDZEは、単一のNVIDIA A100 GPU上で1000万次元PINNのトレーニングを可能にし、最先端のベースラインよりもメモリ効率が大幅に向上した。
• 参考スコア（独自算出の注目度）: 5.601252185916962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) for high-dimensional and high-order partial differential equations (PDEs) are primarily constrained by the $\mathcal{O}(d^k)$ spatial derivative complexity and the $\mathcal{O}(P)$ memory overhead of backpropagation (BP). While randomized spatial estimators successfully reduce the spatial complexity to $\mathcal{O}(1)$, their reliance on first-order optimization still leads to prohibitive memory consumption at scale. Zeroth-order (ZO) optimization offers a BP-free alternative; however, naively combining randomized spatial operators with ZO perturbations triggers a variance explosion of $\mathcal{O}(1/\varepsilon^2)$, leading to numerical divergence. To address these challenges, we propose the \textbf{S}tochastic \textbf{D}imension-free \textbf{Z}eroth-order \textbf{E}stimator (\textbf{SDZE}), a unified framework that achieves dimension-independent complexity in both space and memory. Specifically, SDZE leverages \emph{Common Random Numbers Synchronization (CRNS)} to algebraically cancel the $\mathcal{O}(1/\varepsilon^2)$ variance by locking spatial random seeds across perturbations. Furthermore, an \emph{implicit matrix-free subspace projection} is introduced to reduce parameter exploration variance from $\mathcal{O}(P)$ to $\mathcal{O}(r)$ while maintaining an $\mathcal{O}(1)$ optimizer memory footprint. Empirical results demonstrate that SDZE enables the training of 10-million-dimensional PINNs on a single NVIDIA A100 GPU, delivering significant improvements in speed and memory efficiency over state-of-the-art baselines.
• Abstract（参考訳）: 高次元および高階偏微分方程式(PDE)に対する物理インフォームドニューラルネットワーク(PINN)は、主に$\mathcal{O}(d^k)$空間微分複雑性と$\mathcal{O}(P)$バックプロパゲーションのメモリオーバーヘッド(BP)によって制約される。 ランダム化された空間推定器は空間的複雑さを$\mathcal{O}(1)$に下げることに成功したが、一階最適化への依存はいまだに大規模なメモリ消費を禁止している。 ゼロ次最適化(ZO)はBPフリーな代替手段を提供するが、ランダム化された空間作用素とZO摂動を組み合わせることで$\mathcal{O}(1/\varepsilon^2)$の分散爆発を引き起こす。 これらの課題に対処するため、空間とメモリの両方において次元に依存しない複雑性を実現する統一フレームワークである \textbf{S}tochastic \textbf{D}imension-free \textbf{Z}eroth-order \textbf{E}stimator (\textbf{SDZE}) を提案する。 具体的には、SDZEは \emph{Common Random Numbers Synchronization (CRNS) を利用して、摂動を越えて空間ランダムシードをロックすることで、$\mathcal{O}(1/\varepsilon^2)$分散を代数的にキャンセルする。 さらに、$\mathcal{O}(P)$から$\mathcal{O}(r)$へのパラメータ探索分散を低減するために、$\mathcal{O}(1)$オプティマイザメモリフットプリントを維持しながら、 \emph{implicit matrix-free subspace projection}を導入している。 実験的な結果は、SDZEが1つのNVIDIA A100 GPU上で1000万次元PINNのトレーニングを可能にし、最先端のベースラインよりもスピードとメモリ効率が大幅に向上したことを示している。

関連論文リスト

• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms [65.42376001308064]
  複素勾配問題に対する2つの分散化ZO推定器を提案する。 我々は、現在最先端の機能複雑性を$mathcalOleft(minfracdn1/2epsilon2, fracdepsilon3right)$から$tildecalOleft(fracdepsilon2right)$に改善する。
  論文  参考訳（メタデータ） (2024-10-03T15:04:01Z)
• Approximate Unitary $k$-Designs from Shallow, Low-Communication Circuits [6.844618776091756]
  近似ユニタリ$k$-デザインは、平均が最初の$k$モーメントまでのハールランダムアンサンブルに近いようなユニタリと測度のアンサンブルである。 我々はサブシステム間の通信がシステムサイズで$O(1)$である乗法誤り近似単位の$k$-designアンサンブルを構築する。
  論文  参考訳（メタデータ） (2024-07-10T17:43:23Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Small Transformers Compute Universal Metric Embeddings [25.004650816730543]
  小型ニューラルネットワークで実装された特徴マップの埋め込み保証を導出する。 深さの変換器が$nlog(n)$、幅の変換器が$n2$であれば、$mathcalX$から$n$ポイントのデータセットを埋め込むことができる。
  論文  参考訳（メタデータ） (2022-09-14T17:12:41Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。