論文の概要: Efficient Preconditioned Optimization Methods with Frequent Directions

• arxiv url: http://arxiv.org/abs/2610.16792v1
• Date: Mon, 12 Oct 2026 13:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:36:27.52691
• Title: Efficient Preconditioned Optimization Methods with Frequent Directions
• Title（参考訳）: 周波数方向を考慮した効率的な事前条件最適化法
• Abstract要約: 頻繁な方向(FD)による事前条件付き最適化手法の高速化について検討する。 まず,FDと適応的な下位段階の手法を統合することでFTSLを提案する。 次に、FTSLの時間的複雑さをさらに軽減し、同じ後悔の保証を維持しながら、2倍のトリックを適用する。
• 参考スコア（独自算出の注目度）: 33.779164931357826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive optimization methods have received considerable attention in recent years due to their strong empirical performance. However, they generally require maintaining a preconditioning matrix, which incurs prohibitive computational overhead in large-scale applications. To address these limitations, we investigate the acceleration of preconditioned optimization methods through frequent directions (FD), a widely used matrix sketching technique. We first propose FTSL by integrating FD with adaptive subgradient methods under the primal-dual framework and adding back the cumulative information discarded by FD. FTSL obtains a tighter regret bound than existing state-of-the-art results. We then apply a doubling trick that further reduces the time complexity of FTSL, while maintaining the same regret guarantee. We also consider optimization over matrix-valued decision variables and exploit their structural properties to construct sketched preconditioners. We develop FTSL-Shampoo by adapting FD to Shampoo and give a novel analysis under the primal-dual framework. To further mitigate its computational complexity, we design one-sided variants of FTSL-Shampoo under both mirror descent and primal-dual frameworks. Our algorithms not only reduce the computational cost of FTSL-Shampoo, but also achieve tighter regret bounds. We extend our methods to offline stochastic convex optimization and exploit smoothness to achieve faster convergence rates. Finally, we introduce practical variants of our algorithms and empirically demonstrate their efficiency and effectiveness across a broad range of tasks.
• Abstract（参考訳）: 近年,適応最適化手法は経験的性能の強いため,注目されている。 しかし、それらは一般に、大規模アプリケーションでは計算オーバーヘッドが禁止されるプリコンディショニング行列を維持する必要がある。 これらの制約に対処するため,多方向行列スケッチ技術であるFDによる事前条件付き最適化手法の高速化について検討する。 まず,FD と適応的な下位段階の手法を統合し,FD が捨てた累積情報を追加することで FTSL を提案する。 FTSLは、既存の最先端結果よりも厳密な後悔関係が得られる。 次に、FTSLの時間的複雑さをさらに軽減し、同じ後悔の保証を維持しながら、2倍のトリックを適用する。 また,行列値決定変数に対する最適化も検討し,その構造特性を利用してスケッチ付きプレコンディショナーを構築する。 FTSL-ShampooはFDをShmpooに適応させることで開発し,本手法に基づく新たな分析を行った。 計算複雑性を緩和するために、鏡面下降と原始双対の両方のフレームワークでFTSL-Shampooの片側変種を設計する。 我々のアルゴリズムはFTSL-Shampooの計算コストを削減するだけでなく、より厳密な後悔の限界も達成している。 提案手法をオフライン確率凸最適化に拡張し,より高速な収束率を実現するために滑らかさを活用する。 最後に,本アルゴリズムの実用的変種を紹介し,その効率性と有効性を幅広いタスクで実証的に示す。

関連論文リスト

• Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
  Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。 フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
  論文  参考訳（メタデータ） (2026-04-01T15:40:20Z)
• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning [10.698225972251839]
  Zeroth-order (ZO) 最適化は、一階法(FO) に代わるメモリ効率の代替として注目されている。 本研究では,ZOの最適化が自然に損失景観の平ら化を招き,連続学習における忘れを減少させることを示す。 この安定性は可塑性のコストを伴い、不正確な勾配推定と緩やかな収束により、ZO最適化は新しいタスク固有の知識を取得する際にFOよりも効果が低い傾向にある。 FO最適化分類器を備えた単一アダプタベースのPEFTモジュールに対して,ZO最適化を適用した簡易かつ効果的なZO-FCを提案する。
  論文  参考訳（メタデータ） (2025-10-23T21:54:00Z)
• LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters [43.04933165005961]
  ローランド適応(LoRA)のための新しいフレームワークを提案する。 LoRAは、固定階多様体上で直接最適化することで、低階アダプタを幾何学的に扱う。 私たちのフレームワークは、これを実現するために3つの重要なコンポーネントを統合しています。
  論文  参考訳（メタデータ） (2025-07-16T11:17:12Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [8.418036456622158]
  我々は,前向き推論とブラックボックス最適化のみを用いて,Large Language Models (LLM) を整列する勾配のないフレームワークであるESSAを提案する。 ESSAはQwen2.5-Math-7Bのテスト精度をGSM8Kで12.6%、PRM800Kで14.8%改善し、IFEvalでLLaMA3.1-8Bの精度を22.5%向上させた。 大規模な設定では、ESSAは勾配ベースの方法よりもスケーリングが強い。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [45.99743804547533]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
  SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。 私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
  論文  参考訳（メタデータ） (2024-10-03T08:23:06Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。