論文の概要: A pullback-corrected scalar auxiliary variable optimizer with momentum and adaptive mobility
- arxiv url: http://arxiv.org/abs/2609.13569v1
- Date: Fri, 11 Sep 2026 22:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.397597
- Title: A pullback-corrected scalar auxiliary variable optimizer with momentum and adaptive mobility
- Title(参考訳): モーメントと適応移動性を有するプルバック補正スカラー補助変数最適化器
- Abstract要約: 4つのコンポーネントが平均テール目標を64.7%、最終解誤差を50.2%減らし、同じ学習速度と運動量設定で1つのコンポーネントと比較した。
前方比較バーガーズでは、4つのコンポーネントが平均尾の目標を64.7%減らし、最終解誤差を同じ学習率と運動量設定で1つのコンポーネントに対して50.2%減らした。
- 参考スコア(独自算出の注目度): 11.156869211296156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Objectives in scientific machine learning are often prescribed as a sum of several terms, such as the residual, boundary, initial, and data losses of a physics-informed neural network. In the pullback-corrected scalar auxiliary variable (PB--SAV) method, one scalar tracks the shifted objective while the component gradients build a positive semidefinite curvature correction of rank at most the number of components. We carry that correction into an optimizer with momentum and an adaptive mobility, applying it to the gradient and the stored momentum in a single implicit solve. A mobility that is nonincreasing in the Loewner order yields an exact modified energy law, covering Euclidean and AMSGrad-type choices; the corresponding identity for momentum appended after the solve carries a cross term of indefinite sign. For a fixed mobility we give a necessary and sufficient condition for local stability at a stationary point, depending on the Hessian minus twice the correction, and show that it also gives local geometric convergence for every scalar relaxation sequence. The implicit solve reduces to a dense system whose order is the number of components. In the forward Burgers comparison, four components reduce the mean tail objective by 64.7% and the final solution error by 50.2% relative to one component at the same learning rate and momentum settings.
- Abstract(参考訳): 科学機械学習の目的はしばしば、物理インフォームドニューラルネットワークの残差、境界、初期およびデータ損失など、いくつかの項の和として規定される。
引き戻し補正スカラー補助変数 (PB-SAV) 法では, 成分勾配が最大成分数で正の半定曲率補正を行うのに対して, 1つのスカラーがシフト目標を追跡する。
我々は、その補正を運動量と適応モビリティを持つ最適化器に運び、それを1つの暗黙の解で勾配と保存運動量に適用する。
ローナー位数で増加しないモビリティは、ユークリッドとAMSグラッド型の選択をカバーし、正確に修正されたエネルギー法則をもたらす。
固定運動量に対して、Hessian の2倍の補正に依存する定常点における局所的安定性の必要十分条件を与え、スカラー緩和列ごとに局所的幾何収束を与えることを示す。
暗黙の解は、成分の個数である高密度な系に還元される。
フォワードバーガース比較では、4つのコンポーネントが平均尾の目標を64.7%減らし、最終解誤差を同じ学習率と運動量設定で1つのコンポーネントに対して50.2%減らした。
関連論文リスト
- SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。
メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。
4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
論文 参考訳(メタデータ) (2026-08-29T21:34:47Z) - Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size [43.46286813814826]
Bregman finite proximal ergo gradient (BPSG) 法は、ユークリッドの滑らかさによって幾何が不十分な対象に分散還元された合成サイズをもたらす。
生の曲率推定は変動するが、行検索は繰り返し検索を追加する。
本稿では,スパース値と非負行列分解率を組み合わせた線探索手法であるAdaBPSGを紹介する。
論文 参考訳(メタデータ) (2026-08-12T12:46:05Z) - Variational Bounds for Perceptron Learning from Structured Data [1.8549313085249324]
ガウス混合系で訓練した有限温度連続スピンパーセプトロンに変動的アプローチを導入する。
圧縮圧力に対する上限のミニマックス変動境界を導出する。
同じポテンシャルは固定点方程式を定常性として得る。
論文 参考訳(メタデータ) (2026-08-05T14:08:08Z) - From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs [10.223108587188808]
SCOREは、PINNトレーニングのためのデクリメント結合シフトセカント幾何を持つ自己一致型準ニュートン法である。
その区別機構は、学習された逆計量から計算された1つの準ニュートンデクリメントが強いウルフテストされた候補ステップを共同で決定することである。
バーガース、倉本-シヴァシンスキー、コルテヴェーグ-ド・フリーズ、複雑なギンズブルグ-ランダウ方程式の実験は、SCOREが試験されたBFGSや自己スケールのブロイデン基底線よりも低い最終誤差を達成していることを示している。
論文 参考訳(メタデータ) (2026-08-04T20:05:21Z) - Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。
指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
論文 参考訳(メタデータ) (2026-07-07T08:55:35Z) - The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System [42.117840303613164]
安定性のエッジ、鋭さの振動、カタパルト相、バランス、フラットな表現への動きは、トレーニングマップ自体の効果である。
本稿では, 厳密解モデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
論文 参考訳(メタデータ) (2026-07-06T12:28:24Z) - Towards Data-Efficient Cross-Device Generalization of Grad-Shafranov Equilibria via Transfer Learning Neural Operator [3.9544080780786692]
平衡再構成は、デバイス間演算子学習問題として再キャスト可能であることを示す。
我々は、幾何学とプロファイルパラメータを直接ポロイドフラックス場にマッピングする、ドメイン固有のニューラル演算子フレームワークを開発した。
解析的に抽出可能なソロフエフ族を制御されたグラッド・シャフラノフテストベッドとして使用し、8つの幾何学的に異なるトカマクのような構成の平衡を生成する。
論文 参考訳(メタデータ) (2026-06-13T23:47:19Z) - The Origin of Edge of Stability [0.0]
ニューラルネットワーク上のフルバッチ勾配勾配は、最大のヘッセン固有値を2/$に駆動する。
本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
論文 参考訳(メタデータ) (2026-04-22T11:08:49Z) - Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled
Gradient Descent, Even with Overparameterization [48.65416821017865]
この章では、スケールドグラデーション(ScaledGD)と呼ばれる新しいアルゴリズムアプローチを紹介します。
低ランク物体の条件数に依存しない定数速度で直線的に収束する。
様々なタスクに対して、勾配降下の低い摂動コストを維持できる。
論文 参考訳(メタデータ) (2023-10-09T21:16:57Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - SDGMNet: Statistic-based Dynamic Gradient Modulation for Local
Descriptor Learning [44.69439245287881]
本稿では,局所記述子学習における三重項損失を改善するためにSDGMNetという動的勾配変調を提案する。
本稿では,一般的な三重項に基づく損失のバック伝播に関する深い解析を行い,距離測定のための包含角度を導入する。
我々の新しい記述子は、パッチ検証、マッチング、検索タスクを含む標準ベンチマークにおける過去の最先端技術を上回っている。
論文 参考訳(メタデータ) (2021-06-08T15:10:31Z) - Fast Gravitational Approach for Rigid Point Set Registration with
Ordinary Differential Equations [79.71184760864507]
本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。
FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。
従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
論文 参考訳(メタデータ) (2020-09-28T15:05:39Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。