論文の概要: RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization
- arxiv url: http://arxiv.org/abs/2507.12142v1
- Date: Wed, 16 Jul 2025 11:17:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.370011
- Title: RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization
- Title（参考訳）: RiemannLoRA: あいまいさのないLoRA最適化のための統一リーマンフレームワーク
- Authors: Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba,
- Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整の標準として広く採用されている。
統一されたフレームワーク内で両課題を同時に解決する新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 37.56200829761571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-Rank Adaptation (LoRA) has become a widely adopted standard for parameter-efficient fine-tuning of large language models (LLMs), significantly reducing memory and computational demands. However, challenges remain, including finding optimal initialization strategies or mitigating overparametrization in low-rank matrix factorization. In this work, we propose a novel approach that addresses both of the challenges simultaneously within a unified framework. Our method treats a set of fixed-rank LoRA matrices as a smooth manifold. Considering adapters as elements on this manifold removes overparametrization, while determining the direction of the fastest loss decrease along the manifold provides initialization. Special care is taken to obtain numerically stable and computationally efficient implementation of our method, using best practices from numerical linear algebra and Riemannian optimization. Experimental results on LLM and diffusion model architectures demonstrate that RiemannLoRA consistently improves both convergence speed and final performance over standard LoRA and its state-of-the-art modifications.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整の標準として広く採用されている。
しかし、最適初期化戦略の発見や、低ランク行列分解における過度パラメトリゼーションの緩和など、課題は残る。
本研究では,統一フレームワーク内での両課題を同時に解決する新しいアプローチを提案する。
本手法は固定ランクLoRA行列の集合を滑らかな多様体として扱う。
この多様体上の要素としてアダプタを考えると、過度なパラメトリゼーションを排除し、多様体に沿った最速の損失減少の方向を決定することは初期化をもたらす。
数値線形代数とリーマン最適化のベストプラクティスを用いて、数値的に安定かつ計算的に効率的な手法の実装を得る。
LLMおよび拡散モデルアーキテクチャの実験結果から、リーマンロラは標準のロラよりも収束速度と最終性能の両方を一貫して改善し、最先端の修正を施すことが示されている。
関連論文リスト
- Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement [20.47449050578067]
事前訓練された大規模言語モデルは膨大な計算資源を必要とするため、効率性は不可欠である。
本研究では,より大きいヘッセン減衰係数と平坦な軌道に沿った学習率を適用することで,トレーニングダイナミクスを向上する一般加速戦略LITEを提案する。
論文 参考訳（メタデータ） (2026-02-26T06:54:57Z) - ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。
常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。
ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文 参考訳（メタデータ） (2026-02-07T10:19:36Z) - Riemannian Lyapunov Optimizer: A Unified Framework for Optimization [6.493476506951333]
古典的アルゴリズムを1つの幾何学的枠組みに統一する最適化アルゴリズムのファミリを導入する。
RLOブリッジ制御理論と現代の機械学習最適化により、統一された言語と体系的なツールキットを提供する。
論文 参考訳（メタデータ） (2026-01-29T20:00:25Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models [7.706953461614795]
一様直交再初期化適応(Uniform Orthogonal Reinitialization Adaptation, UORA)は、大規模言語モデル(LLM)のための新しいパラメータ効率細調整(PEFT)アプローチである。
論文 参考訳（メタデータ） (2025-05-26T15:56:40Z) - Efficient Differentiable Approximation of Generalized Low-rank Regularization [64.73416824444328]
低ランク正規化(LRR)は様々な機械学習タスクに広く応用されている。
本稿では,LRRの効率的な微分可能近似を提案する。
論文 参考訳（メタデータ） (2025-05-21T11:49:17Z) - Riemannian Optimization on Relaxed Indicator Matrix Manifold [83.13494760649874]
インジケータ行列は機械学習において重要な役割を果たすが、最適化はNPハード問題である。
我々は、指標行列の新たな緩和を提案し、この緩和が多様体を形成することを証明し、それをRelaxed Indicator Matrix Manifold (RIM manifold) と呼ぶ。
測地学を得るための高速な測地法を含む,いくつかのリトラクション法を提案する。
論文 参考訳（メタデータ） (2025-03-26T12:45:52Z) - DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。
本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
論文 参考訳（メタデータ） (2025-02-13T02:41:34Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。
Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。
本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-11T17:01:43Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。
本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
論文 参考訳（メタデータ） (2024-07-16T15:26:31Z) - OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models [0.0]
Low-Rank Adaptation (LoRA)はこれらの問題を緩和するための有望な方法として登場した。
OLoRAはLLMトレーニングの収束を著しく加速する。
OLoRAは、様々な言語モデリングタスクで標準のLoRAよりもパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-06-03T20:37:27Z) - Streamlining in the Riemannian Realm: Efficient Riemannian Optimization
with Loopless Variance Reduction [4.578425862931332]
本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。
ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。
フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2024-03-11T12:49:37Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。