論文の概要: LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters
- arxiv url: http://arxiv.org/abs/2507.12142v2
- Date: Wed, 01 Oct 2025 17:59:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-02 14:33:21.667763
- Title: LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters
- Title（参考訳）: LoRAがRiemannionに到達:パラメトリゼーション非依存低ランクアダプタのためのミューオン最適化
- Authors: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba,
- Abstract要約: ローランド適応(LoRA)のための新しいフレームワークを提案する。
LoRAは、固定階多様体上で直接最適化することで、低階アダプタを幾何学的に扱う。
私たちのフレームワークは、これを実現するために3つの重要なコンポーネントを統合しています。
- 参考スコア（独自算出の注目度）: 43.04933165005961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents a novel, fully Riemannian framework for Low-Rank Adaptation (LoRA) that geometrically treats low-rank adapters by optimizing them directly on the fixed-rank manifold. This formulation eliminates the parametrization ambiguity present in standard Euclidean optimizers. Our framework integrates three key components to achieve this: (1) we derive Riemannion, a new Riemannian optimizer on the fixed-rank matrix manifold that generalizes the recently proposed Muon optimizer; (2) we develop a Riemannian gradient-informed LoRA initialization, and (3) we provide an efficient implementation without prominent overhead that uses automatic differentiation to compute arising geometric operations while adhering to best practices in numerical linear algebra. Comprehensive experimental results on both LLM and diffusion model architectures demonstrate that our approach yields consistent and noticeable improvements in convergence speed and final task performance over both standard LoRA and its state-of-the-art modifications.
- Abstract（参考訳）: この研究は、固定ランク多様体上で直接最適化することで、低ランクアダプタを幾何学的に扱う、ローランク適応(LoRA)のための新しいリーマン的枠組みを提示する。
この定式化は、標準ユークリッド最適化器に存在するパラメトリゼーションの曖昧さを排除している。
我々は、最近提案されたムーン最適化を一般化する固定階行列多様体上の新しいリーマン最適化であるリーマンオンを導出し、(2)リーマン勾配インフォームドLoRA初期化を開発する。
LLMおよび拡散モデルアーキテクチャの総合的な実験結果から,本手法は標準 LoRA と最新技術の改良の両方に対して,収束速度と最終タスク性能の一貫性と顕著な改善をもたらすことが示された。
関連論文リスト
- Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement [20.47449050578067]
事前訓練された大規模言語モデルは膨大な計算資源を必要とするため、効率性は不可欠である。
本研究では,より大きいヘッセン減衰係数と平坦な軌道に沿った学習率を適用することで,トレーニングダイナミクスを向上する一般加速戦略LITEを提案する。
論文 参考訳（メタデータ） (2026-02-26T06:54:57Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - Riemannian Lyapunov Optimizer: A Unified Framework for Optimization [6.493476506951333]
古典的アルゴリズムを1つの幾何学的枠組みに統一する最適化アルゴリズムのファミリを導入する。
RLOブリッジ制御理論と現代の機械学習最適化により、統一された言語と体系的なツールキットを提供する。
論文 参考訳（メタデータ） (2026-01-29T20:00:25Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models [7.706953461614795]
一様直交再初期化適応(Uniform Orthogonal Reinitialization Adaptation, UORA)は、大規模言語モデル(LLM)のための新しいパラメータ効率細調整(PEFT)アプローチである。
論文 参考訳（メタデータ） (2025-05-26T15:56:40Z) - Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。
本稿では,LRRの効率的な微分可能近似を提案する。
論文 参考訳（メタデータ） (2025-05-21T11:49:17Z) - Riemannian Optimization on Relaxed Indicator Matrix Manifold [83.13494760649874]
インジケータ行列は機械学習において重要な役割を果たすが、最適化はNPハード問題である。
我々は、指標行列の新たな緩和を提案し、この緩和が多様体を形成することを証明し、それをRelaxed Indicator Matrix Manifold (RIM manifold) と呼ぶ。
測地学を得るための高速な測地法を含む,いくつかのリトラクション法を提案する。
論文 参考訳（メタデータ） (2025-03-26T12:45:52Z) - DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。
本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
論文 参考訳（メタデータ） (2025-02-13T02:41:34Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。
本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。
本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
論文 参考訳（メタデータ） (2024-07-16T15:26:31Z) - OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models [0.0]
Low-Rank Adaptation (LoRA)はこれらの問題を緩和するための有望な方法として登場した。
OLoRAはLLMトレーニングの収束を著しく加速する。
OLoRAは、様々な言語モデリングタスクで標準のLoRAよりもパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-06-03T20:37:27Z) - Streamlining in the Riemannian Realm: Efficient Riemannian Optimization
with Loopless Variance Reduction [4.578425862931332]
本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。
ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。
フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2024-03-11T12:49:37Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。