論文の概要: SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning

• arxiv url: http://arxiv.org/abs/2608.29448v1
• Date: Sat, 29 Aug 2026 21:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.96121
• Title: SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning
• Title（参考訳）: SS-ESOAP:物理インフォームドラーニングのための自己スケール適応型プレコンディショニング
• Abstract要約: メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。 メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。 4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
• 参考スコア（独自算出の注目度）: 70.71795707610961
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Physics-informed neural networks (PINNs) often face ill-conditioned objectives that limit high-accuracy training. Dense quasi-Newton methods improve local conditioning but require expensive optimizer state, while Kronecker-factored methods such as SOAP scale to larger networks but rely on periodic basis updates. We introduce \method, which augments SOAP-style preconditioning with a scalar secant-energy correction adapted to Kronecker geometry and an adaptive basis update followed by variance-state downscaling. We characterize the directional secant matching induced by the scalar correction and give a bound on variance-state mismatch across basis changes. Across eight PDE benchmarks, \method attains the lowest final residual on six, including Burgers and Boussinesq, while SOAP-family baselines perform better on Gray-Scott and Ginzburg-Landau. On Boussinesq, \method reaches a residual of $10^{-5}$ in 4.1 hours with 9.2 GB peak VRAM, while Adam does not reach this target within 14 hours. Three-seed $L^2$ and $H^1$ errors on four representative PDEs support the link between lower residuals and improved solution accuracy. These results position \method as a scalable option for stiff, high-accuracy physics-informed training, rather than a uniform replacement for existing optimizers.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、しばしば、高精度なトレーニングを制限する不条件の目標に直面している。 Dense quasi-Newtonメソッドはローカル条件を改善するが、高価なオプティマイザ状態を必要とする。 我々は、Kronecker幾何に適応したスカラーセマントエネルギー補正と適応ベースの更新と、分散状態のダウンスケーリングによりSOAPスタイルのプレコンディショニングを強化した \methodを紹介した。 本研究では,スカラー補正によって引き起こされる方向のセマントマッチングを特徴付けるとともに,基底変化間の分散状態のミスマッチにバウンダリを与える。 8つのPDEベンチマークで、 \methodはBurgersやBoussinesqを含む6つのベンチマークで最下位の残留点に達し、SOAPファミリーのベースラインはGray-ScottとGinzburg-Landauで改善されている。 Boussinesq では、Shamethod は 9.2 GB のピーク VRAM の 4.1 時間で 10^{-5} の残量に達するが、Adam は 14 時間以内にこの目標に到達しない。 4つの代表PDEの3列の$L^2$と$H^1$エラーは、低い残基間のリンクと解の精度の向上をサポートする。 これらの結果は、既存のオプティマイザを一様に置き換えるのではなく、厳密で高精度な物理インフォームドトレーニングのためのスケーラブルな選択肢として、‘method’を位置づけている。

関連論文リスト

• Error-Conditioned Neural Solvers [36.51479208528461]
  ニューラルサロゲートモデルは、PDEパラメータから解への高速な近似マッピングを提供するが、それらは一般に純粋に統計的タスクとして解決を扱う。 最近のハイブリッド手法は、勾配降下またはガウス・ニュートンステップを介してPDE残差を目標とすることで物理的正当性を促進するが、基礎となる古典勾配の計算コストと不安定性を継承する。 理論的・実験的にPDE残差の数値最小化は、不調なシステムにおける再構成精度の信頼性の低いプロキシであることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:56:27Z)
• Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization [8.412194372218895]
  本研究では,Singularity-aware Adam (S-Adam)を紹介した。 S-アダムには適応減衰機構が組み込まれており、不安定な地域での更新を減速し、スムーズな盆地での高速収束を保っている。 最適量子化アウェアトレーニング(QAT)と高雑音小バッチ学習の実証評価は、S-AdamがAdamWとProx-SGDを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-28T08:00:40Z)
• Not How Many, But Which: Parameter Placement in Low-Rank Adaptation [7.686602368047758]
  LoRAアダプタのB行列内のトレーニング可能なエントリ(Aフリーズ)の固定予算が$k$であるなら、どの$k$が重要だろうか? 教師付き微調整、ランダム、インシデントされたサブセットは、同等のパフォーマンスを達成する。 GRPOのベースモデルでは、ランダム配置はベースモデルよりも改善されず、勾配インフォームド配置は標準のLoRA精度を回復する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:00Z)
• Beta-Scheduling: Momentum from Critical Damping as a Diagnostic and Correction Tool for Neural Network Training [0.0]
  標準ニューラルネットワークトレーニングでは、1964年までの規則である定数運動量(典型的には0.9)を用いており、その最適性について理論的に限定されている。 このベータスケジュールは、既存の学習率スケジュールを超えて、ゼロのフリーパラメータを必要とする。 ResNet-18/CIFAR-10では、ベータスケジューリングにより、一定の運動量よりも90%の精度で1.9倍の収束が得られる。
  論文  参考訳（メタデータ） (2026-03-30T18:53:03Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Purge-Gate: Backpropagation-Free Test-Time Adaptation for Point Clouds Classification via Token Purging [33.86980091897939]
  Token Purging (PG) はバックプロパゲーションフリーのアプローチで、注意層に到達する前にドメインシフトの影響が大きいトークンを取り除く。 我々は、ソース統計を利用するPG-SPと、CLS-token-driven adaptationに依存する完全ソースフリーバージョンPG-SFの2つのバリエーションを提案する。 PG-SPは最先端のバックプロパゲーションフリーメソッドよりも平均+10.3%高い精度を達成し、PG-SFはソースフリー適応のための新しいベンチマークを設定できる。
  論文  参考訳（メタデータ） (2025-09-11T18:33:40Z)
• OrthoGrad Improves Neural Calibration [0.0]
  $perp$Gradは、過信に対処するために降下方向を制約する。 $perp$Gradは、最適化のための幾何学的な修正である。
  論文  参考訳（メタデータ） (2025-06-04T22:12:46Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。