論文の概要: FANoS: Friction-Adaptive Nosé--Hoover Symplectic Momentum for Stiff Objectives

• arxiv url: http://arxiv.org/abs/2601.00889v1
• Date: Wed, 31 Dec 2025 11:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.826824
• Title: FANoS: Friction-Adaptive Nosé--Hoover Symplectic Momentum for Stiff Objectives
• Title（参考訳）: FANoS:摩擦適応型ノセ-フーバーシンプレクティックモーメント
• Authors: Nalin Dhiman,
• Abstract要約: 私たちは物理学に触発されたスカラーを研究します。 FANoSは、Aとして書かれたモーメントアップデートを組み合わせたものだ。 離散化された二階力学系。 理想的な設定における理論観測を限定したアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study a physics-inspired optimizer, \emph{FANoS} (Friction-Adaptive Nosé--Hoover Symplectic momentum), which combines (i) a momentum update written as a discretized second-order dynamical system, (ii) a Nosé--Hoover-like thermostat variable that adapts a scalar friction coefficient using kinetic-energy feedback, and (iii) a semi-implicit (symplectic-Euler) integrator, optionally with a diagonal RMS preconditioner. The method is motivated by structure-preserving integration and thermostat ideas from molecular dynamics, but is used here purely as an optimization heuristic. We provide the algorithm and limited theoretical observations in idealized settings. On the deterministic Rosenbrock-100D benchmark with 3000 gradient evaluations, FANoS-RMS attains a mean final objective value of $1.74\times 10^{-2}$, improving substantially over unclipped AdamW ($48.50$) and SGD+momentum ($90.76$) in this protocol. However, AdamW with gradient clipping is stronger, reaching $1.87\times 10^{-3}$, and L-BFGS reaches $\approx 4.4\times 10^{-10}$. On ill-conditioned convex quadratics and in a small PINN warm-start suite (Burgers and Allen--Cahn), the default FANoS configuration underperforms AdamW and can be unstable or high-variance. Overall, the evidence supports a conservative conclusion: FANoS is an interpretable synthesis of existing ideas that can help on some stiff nonconvex valleys, but it is not a generally superior replacement for modern baselines, and its behavior is sensitive to temperature-schedule and hyperparameter choices.
• Abstract（参考訳）: 物理に着想を得たオプティマイザ \emph{FANoS} (Friction-Adaptive Nosé-Hoover Symplectic momentum) について検討する。 (i)離散化された二階力学系として書かれた運動量更新 (II)運動エネルギーフィードバックを用いたスカラー摩擦係数に適応するNosé-Hoover-like thermostat変数 三 半単純(シンプレクティック・オイラー)積分器で、任意に対角RMSプリコンディショナー この方法は、分子動力学による構造保存積分とサーモスタットのアイデアによって動機づけられるが、ここでは純粋に最適化ヒューリスティックとして用いられる。 理想化された設定におけるアルゴリズムと限定された理論観測を提供する。 3000の勾配評価を持つ決定論的Rosenbrock-100Dベンチマークでは、FANoS-RMSは平均目標値が1.74\times 10^{-2}$に達し、このプロトコルにおけるAdamW(48.50$)およびSGD+momentum(90.76$)よりも大幅に改善されている。 しかし、勾配クリッピングのAdamWはより強く、$1.87\times 10^{-3}$、L-BFGSは$\approx 4.4\times 10^{-10}$に達する。 条件の悪い凸二次系と、小さなPINNウォームスタートスイート(BurgersとAllen-Cahn)では、デフォルトのFANoS構成はAdamWを過小評価し、不安定または高分散化が可能である。 FANoSは、いくつかの固い非凸谷で役立つ既存のアイデアの解釈可能な合成であるが、現代のベースラインの置き換えとしては一般的には優れたものではなく、その振舞いは温度スケジュールやハイパーパラメータの選択に敏感である。

関連論文リスト

• Balancing Centralized Learning and Distributed Self-Organization: A Hybrid Model for Embodied Morphogenesis [0.0]
  本研究では,学習可能な脳様のコントローラを細胞様のグレースコット基質に結合して,最小限の努力でステアパターン形成を行う方法について検討する。 コンパクトな畳み込みポリシは、微分可能なPyTorch反応拡散シミュレータに埋め込まれる。
  論文  参考訳（メタデータ） (2025-11-13T09:05:27Z)
• A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization [3.8919212824749296]
  提案したSFOMは,目的関数の高次滑らか度を$f$とすることで,最適化を高速化できることを示す。 我々の知る限りでは、これは対象関数の任意の次スムーズネスを加速度に利用した最初のSFOMである。
  論文  参考訳（メタデータ） (2024-12-19T03:22:47Z)
• Boltzmann-Aligned Inverse Folding Model as a Predictor of Mutational Effects on Protein-Protein Interactions [48.58317905849438]
  結合自由エネルギーの変化を予測する(Delta Delta G$)ことはタンパク質-タンパク質相互作用の理解と調節に不可欠である。 本稿では,事前学習した逆折り畳みモデルから$Delta Delta G$予測への知識伝達のためのボルツマンアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-10-12T14:13:42Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Robust Online Control with Model Misspecification [96.23493624553998]
  本研究では,未知の非線形力学系のモデル不特定性を考慮したオンライン制御について検討する。 本研究は, 線形近似からの偏差を許容できる程度に測定できるロバスト性に着目した。
  論文  参考訳（メタデータ） (2021-07-16T07:04:35Z)
• A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
  分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。 本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。 総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2021-02-09T02:44:24Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)
• Controlling Rayleigh-B\'enard convection via Reinforcement Learning [62.997667081978825]
  固定外熱勾配下での対流熱交換を抑制または促進するための効果的な制御戦略の同定は、重要な基本的かつ技術的問題である。 本研究では,最先端の強化学習(RL)アルゴリズムに基づく新しい手法を提案する。 我々のRL制御は導電系を安定させ、対流の開始をレイリー数にすることができることを示す。
  論文  参考訳（メタデータ） (2020-03-31T16:39:25Z)
• Momentum Improves Normalized SGD [51.27183254738711]
  モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。 本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-09T07:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。