論文の概要: Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2602.08232v1
• Date: Mon, 09 Feb 2026 03:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.045105
• Title: Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
• Title（参考訳）: 非滑らかな非凸最適化のための保証付き平滑化による適応行列オンライン学習
• Authors: Ruichen Jiang, Zakaria Mhammedi, Mehryar Mohri, Aryan Mokhtari,
• Abstract要約: 我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
• 参考スコア（独自算出の注目度）: 54.723834588133165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study online linear optimization with matrix variables constrained by the operator norm, a setting where the geometry renders designing data-dependent and efficient adaptive algorithms challenging. The best-known adaptive regret bounds are achieved by Shampoo-like methods, but they require solving a costly quadratic projection subproblem. To address this, we extend the gradient-based prediction scheme to adaptive matrix online learning and cast algorithm design as constructing a family of smoothed potentials for the nuclear norm. We define a notion of admissibility for such smoothings and prove any admissible smoothing yields a regret bound matching the best-known guarantees of one-sided Shampoo. We instantiate this framework with two efficient methods that avoid quadratic projections. The first is an adaptive Follow-the-Perturbed-Leader (FTPL) method using Gaussian stochastic smoothing. The second is Follow-the-Augmented-Matrix-Leader (FAML), which uses a deterministic hyperbolic smoothing in an augmented matrix space. By analyzing the admissibility of these smoothings, we show both methods admit closed-form updates and match one-sided Shampoo's regret up to a constant factor, while significantly reducing computational cost. Lastly, using the online-to-nonconvex conversion, we derive two matrix-based optimizers, Pion (from FTPL) and Leon (from FAML). We prove convergence guarantees for these methods in nonsmooth nonconvex settings, a guarantee that the popular Muon optimizer lacks.
• Abstract（参考訳）: 本研究では,演算子ノルムに制約された行列変数を用いたオンライン線形最適化について検討する。 最もよく知られた適応的後悔境界はシャンプー的な方法によって達成されるが、コストのかかる二次射影部分プロブレムを解く必要がある。 これを解決するために、我々は勾配に基づく予測スキームを適応行列オンライン学習に拡張し、原子核ノルムの滑らかなポテンシャルの族を構成するためにキャストアルゴリズムを設計する。 このような滑らか化に対する許容性の概念を定義し、任意の許容滑らか化が一方的なシャンプーの最もよく知られた保証と一致する後悔の束を生じることを証明した。 2次射影を避ける2つの効率的な手法でこの枠組みをインスタンス化する。 1つ目はガウス確率的平滑化を用いた適応Follow-the-Perturbed-Leader (FTPL)法である。 2つ目はFollow-the-Augmented-Matrix-Leader (FAML)であり、これは拡張行列空間における決定論的双曲的滑らか化を利用する。 これらのスムースメントの許容性を解析することにより、両手法がクローズドフォームの更新を認め、一方的なシャンプーの後悔を一定の要因に一致させ、計算コストを著しく削減することを示した。 最後に、オンライン-非凸変換を用いて、2つの行列ベースのオプティマイザ、Pion(FTPL)とLeon(FAML)を導出する。 非平滑な非凸設定でこれらの手法の収束保証を証明し、人気のあるMuonオプティマイザが欠如していることを保証する。

関連論文リスト

• Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming [55.848340925419286]
  等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。 これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。 本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
  論文  参考訳（メタデータ） (2025-11-27T06:16:17Z)
• Online Statistical Inference of Constrained Stochastic Optimization via Random Scaling [17.9255078650875]
  我々は,Sketched Sequential Quadratic Programming (SSQP) を用いた制約付き最適化のためのオンライン推論手法を開発した。 スケッチされたニュートン法の直接的な一般化として、SSQPは2次モデルと2次モデルと、各ステップにおける線形モデルとの制約とを近似し、結果として生じるサブプロブレムを解くためにスケッチ解法を適用する。 特に,制限分布が未知のパラメータを含まないSSQPイテレートに基づくテスト統計を構築した。
  論文  参考訳（メタデータ） (2025-05-23T19:33:08Z)
• Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
  提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
  論文  参考訳（メタデータ） (2025-02-11T11:48:04Z)
• $\ell_0$-Regularized Quadratic Surface Support Vector Machines [0.0]
  カーネルフリーの二次曲面支持ベクトルマシンは、カーネル関数に依存することなく非線形決定境界をモデル化する柔軟性により、近年注目を集めている。 本稿では,モデルパラメータに濃度制約を課すことにより,QSVMのスパース変種を提案する。 我々は,いくつかの実世界のデータセットに対するアプローチを検証し,高い分類性能を維持しながらオーバーフィッティングを低減できることを実証した。
  論文  参考訳（メタデータ） (2025-01-20T04:26:34Z)
• GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning [52.295563400314094]
  2次法は学習アルゴリズムの収束率を改善するために広く採用されている。 本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T04:27:41Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints [3.179831861897336]
  低ランク最適化問題を証明可能な最適性に解決するためのフレームワークを提供する。 我々のフレームワークは、ラウンドリングや局所探索技術を通じて、ほぼ最適のソリューションを提供する。
  論文  参考訳（メタデータ） (2020-09-22T08:59:06Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。