論文の概要: BiMuon: A Geometry-Aware Stochastic Bilevel Optimization Approach
- arxiv url: http://arxiv.org/abs/2611.10188v2
- Date: Thu, 12 Nov 2026 07:34:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.864475
- Title: BiMuon: A Geometry-Aware Stochastic Bilevel Optimization Approach
- Title(参考訳): BiMuon: 幾何学的確率的二レベル最適化アプローチ
- Abstract要約: BiMuonは、二段階最適化における過次推定と、上位レベルのMuonスタイルの直交更新を統合した幾何学的二段階最適化手法である。
私たちの知る限り、BiMuonは、Muonスタイルの反復更新と$O(-4)$複雑さを保証する最初のBLOメソッドです。
- 参考スコア(独自算出の注目度): 51.11813325221214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic bilevel optimization provides a general framework for many machine learning applications, such as hyperparameter learning, data reweighting, language model alignment, and actor-critic reinforcement learning. However, most existing bilevel optimization methods treat matrix-valued gradients as flattened vectors and perform optimization in the resulting vectorized space, ignoring the matrix structures common in modern neural networks. Moreover, the lower-level (LL) problem curvature can induce significant spectral imbalance in the upper-level (UL) geometry. Such limitations of existing bilevel optimization methods motivate us to develop BiMuon, a geometry-aware stochastic bilevel optimization method that integrates implicit hypergradient estimation in bilevel optimization with Muon-style orthogonalized updates at the UL. To our knowledge, BiMuon is the first stochastic BLO method with Muon-style orthogonalized matrix updates and an $O(ε^{-4})$ iteration-complexity guarantee, matching the best-known rates achieved by Muon-type methods based on matrix parameterizations. To improve computational and parallel efficiency for models with multiple matrix parameters, we further study BiMuon for blockwise diagonal matrix approximation and derive a relative stepsize allocation rule based on UL progress and blockwise LL sensitivity. We evaluate BiMuon on representation learning and blockwise bilevel optimization, providing empirical support for our methods.
- Abstract(参考訳): 確率的二レベル最適化は、ハイパーパラメータ学習、データ再重み付け、言語モデルのアライメント、アクタ-クリティカル強化学習など、多くの機械学習アプリケーションのための一般的なフレームワークを提供する。
しかし、既存の2レベル最適化手法の多くは、行列値勾配を平坦化されたベクトルとして扱い、現代のニューラルネットワークで一般的な行列構造を無視して、結果として得られるベクトル化された空間で最適化を行う。
さらに、下層(LL)問題曲率は、上層(UL)幾何学において有意なスペクトル不均衡を引き起こす。
既存の二段階最適化手法の制限は、暗黙的な過次的推定とULでのMuonスタイルの直交的更新を統合する幾何学的確率的二段階最適化法であるBiMuonの開発を動機付けている。
我々の知る限り、BiMuon は Muon スタイルの直交行列更新と$O(ε^{-4})$ iteration-complexity guarantee を持つ最初の確率的 BLO 法であり、行列パラメータ化に基づく Muon 方式で達成される最もよく知られたレートと一致する。
複数の行列パラメータを持つモデルの計算効率と並列性を改善するため、ブロックワイド対角行列近似のためのBiMuonをさらに研究し、ULの進行とブロックワイドLLの感度に基づく相対段差割り当て規則を導出する。
表現学習とブロックワイドなバイレベル最適化でBiMuonを評価し,提案手法の実証的サポートを提供する。
関連論文リスト
- MOON: Multi-Objective OrthoNormalized Updates for Multitask Learning [11.574264042827558]
既存のほとんどの手法はモデルパラメータをベクトルに平らにし、ユークリッド幾何学の下で操作を行う。
本稿では、ユークリッド空間において、ノルム幾何学の下では、一般に最も急降下を生じないことを示す。
スペクトル勾配と標準幾何の下での操作を行うMOONを提案する。
論文 参考訳(メタデータ) (2026-08-12T07:41:31Z) - Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。
我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
論文 参考訳(メタデータ) (2026-06-12T07:10:17Z) - Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning [15.604900995606451]
スペクトルノルムを意識した連続学習フレームワークであるMuon-OGDを提案する。
提案手法を標準連続学習ベンチマークで評価する。
論文 参考訳(メタデータ) (2026-05-09T13:42:08Z) - Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。
プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。
両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
論文 参考訳(メタデータ) (2026-02-09T03:09:47Z) - Online Nonconvex Bilevel Optimization with Bregman Divergences [3.237380113935023]
本稿では,近年の変動率の平均値を用いて,外部変数を更新するオンラインバイレベル(SOB)手法を提案する。
このアプローチは、ハイパーレベルベンチマークのレートが優れたパフォーマンスと効率を強調するため、オフラインバイレベル設定(OBO)よりも優れている。
論文 参考訳(メタデータ) (2024-09-16T17:01:27Z) - Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。
ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。
ゲームにおける高速収束と拡張逆最適化への応用について述べる。
論文 参考訳(メタデータ) (2024-08-17T02:22:08Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳(メタデータ) (2023-10-27T23:24:37Z) - Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed
Smoothness Conditions [9.518010235273785]
両レベル最適化のための完全リリップループ・ヘシアン・インバージョンフリーなアルゴリズム・フレームワークを提案する。
我々は、我々のアプローチを少し修正することで、より汎用的な多目的ロバストな双レベル最適化問題に対処できることを示した。
論文 参考訳(メタデータ) (2023-06-21T07:32:29Z) - Inexact bilevel stochastic gradient methods for constrained and
unconstrained lower-level problems [0.0]
2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。
2階微分を必要としない新しい低ランク二階勾配法が開発されている。
論文 参考訳(メタデータ) (2021-10-01T18:20:14Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳(メタデータ) (2021-07-26T16:18:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。