論文の概要: FOAM: Frequency and Operator Error-Based Adaptive Damping Method for Reducing Staleness-Oriented Error for Shampoo

• arxiv url: http://arxiv.org/abs/2606.02365v1
• Date: Mon, 01 Jun 2026 15:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.378572
• Title: FOAM: Frequency and Operator Error-Based Adaptive Damping Method for Reducing Staleness-Oriented Error for Shampoo
• Title（参考訳）: FOAM:シャンプーの定常方向誤差低減のための周波数・演算子誤差に基づく適応ダンピング法
• Authors: Kyunghun Nam, Sumyeong Ahn,
• Abstract要約: コンバージェンスと安定性の相補レンズによる安定度の理論的研究を行う。 本研究では,減衰係数と固有分解周波数の両方を動的に制御することにより,学習を安定させる適応アルゴリズムを提案する。 実験により, 安定収束を維持しながら, 標準的なシャンプーに比べて壁面時間短縮効果が認められた。
• 参考スコア（独自算出の注目度）: 9.04365834292336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shampoo is attracting considerable attention for its superior performance on large-scale optimization benchmarks; yet it faces a significant practical bottleneck: the prohibitive computational overhead of matrix inversion. To mitigate this, practitioners typically rely on stale preconditioner updates, creating a fundamental trade-off between computational efficiency and optimization fidelity. In this work, we provide a theoretical study of staleness through the complementary lenses of convergence and stability. While staleness improves computational efficiency, it inherently degrades performance and introduces numerical instability. Crucially, we identify that damping, acting as a numerical stabilizer, can effectively suppress these negative effects. Guided by this analysis, we propose FOAM, an adaptive algorithm that stabilizes training by dynamically controlling both the damping factor and the eigendecomposition frequency based on an approximation of the staleness-oriented error. Experimental results demonstrate that FOAM reduces wall-clock time compared to standard Shampoo while maintaining robust convergence.
• Abstract（参考訳）: Shampooは、大規模な最適化ベンチマークにおいて優れたパフォーマンスを誇っているため、かなりの注目を集めている。 これを緩和するために、実践者は通常、古いプレコンディショナーの更新に依存し、計算効率と最適化の忠実さの基本的なトレードオフを生み出します。 本研究では、収束と安定性の相補レンズによる安定化の理論的研究を行う。 安定性は計算効率を向上させるが、本質的に性能を低下させ、数値不安定をもたらす。 数値安定化器として機能する減衰は、これらの負の効果を効果的に抑制できる。 そこで本研究では,減衰係数と固有分解周波数の両方を安定化する適応アルゴリズムFOAMを提案する。 実験により, FOAMは, 安定した収束を維持しつつ, 標準的なシャンプーに比べ, 壁面時間の短縮を図った。

関連論文リスト

• Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models [24.301295080069476]
  Looped Language Models (LoopLMs) は、深さ反復による効率的な潜伏推論を可能にするが、信頼性の低いテスト時間スケーリングの振る舞いを示す。 STARS (ST-driven Recurrent Scaling) は、潜在状態が減少的に安定な固定点に近づくことを制約するトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-26T09:11:12Z)
• Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization [69.03519018775779]
  グループ相対政策最適化は、ビデオ拡散モデルと人間の嗜好の整合に不可欠である。 既存の効率の手法は、最適化を妥協し、深刻な不安定を示し、完全な軌道性能に到達できなかった。 Flash-GRPOは,低計算予算下でのアライメント品質において,完全な軌道学習よりも優れた1ステップのトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-15T14:13:39Z)
• Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
  We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。 我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-30T11:37:46Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning [10.698225972251839]
  Zeroth-order (ZO) 最適化は、一階法(FO) に代わるメモリ効率の代替として注目されている。 本研究では,ZOの最適化が自然に損失景観の平ら化を招き,連続学習における忘れを減少させることを示す。 この安定性は可塑性のコストを伴い、不正確な勾配推定と緩やかな収束により、ZO最適化は新しいタスク固有の知識を取得する際にFOよりも効果が低い傾向にある。 FO最適化分類器を備えた単一アダプタベースのPEFTモジュールに対して,ZO最適化を適用した簡易かつ効果的なZO-FCを提案する。
  論文  参考訳（メタデータ） (2025-10-23T21:54:00Z)
• Purifying Shampoo: Investigating Shampoo's Heuristics by Decomposing its Preconditioner [25.56447816096372]
  計算コンテストにおけるShampooの最近の成功Perfは、ニューラルネットワークのトレーニングのためのKroneckerfactorizationベースのアルゴリズムに新たな関心を喚起した。 我々は、Adamからのグラフトは、プレコンディショナーの固有値の安定化と誤スケーリングを直接緩和することを示す。 本稿では,暖かくスタートしたQRアルゴリズムを終了させることにより,固有ベイジ周波数を決定するための適応的基準を提案する。
  論文  参考訳（メタデータ） (2025-06-04T05:55:41Z)
• Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization [10.713082490316111]
  低ランク表現学習は、電力負荷データの欠落した値を回復するための強力なツールとして登場した。 正規化時間的低ランク因子化モデルは、その効率性と解釈可能性に好適である。 正規化係数の調整に適応する正規化時間的低ランク因子化制御器を提案する。
  論文  参考訳（メタデータ） (2025-05-25T13:07:55Z)
• On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
  本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。 我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
  論文  参考訳（メタデータ） (2025-01-28T00:29:38Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。