論文の概要: Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

• arxiv url: http://arxiv.org/abs/2605.31484v1
• Date: Fri, 29 May 2026 16:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.726858
• Title: Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence
• Title（参考訳）: Balanced LoRA: パラメータ不変性を除去して収束を加速する
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。 BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 30.96331195818476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is the most widely adopted method for fine-tuning large language models. Notably, LoRA is inherently overparameterized: multiple pairs of low-rank factors can yield the same adapted weight matrix. We show--both theoretically and empirically--that these pairs exhibit significantly different condition numbers. As a result, converging to different loss minimizers directly impacts the convergence rate of LoRA. Building on this observation, we introduce Balanced Low-Rank Adaptation (BaLoRA), a variant of LoRA that projects iterates onto a balanced manifold. This manifold improves the conditioning of the loss landscape while preserving the adapted matrix. The projection step is computationally lightweight and integrates seamlessly into existing fine-tuning pipelines. Empirically, BaLoRA converges faster than standard LoRA and achieves superior performance across a range of fine-tuning tasks.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 特に、LoRAは本質的に過パラメータ化されており、複数の低ランク因子が同じ適応された重み行列を生成できる。 理論的にも経験的にも、これらのペアは明らかに異なる条件数を示す。 その結果、異なる損失最小化器への収束は、LoRAの収束率に直接影響を及ぼす。 この観測に基づいて、バランスの取れた多様体に反復的に投影するLoRAの変種であるBaLoRA(BaLoRA)を導入する。 この多様体は、適応行列を保持しながら損失ランドスケープの条件付けを改善する。 プロジェクションステップは計算的に軽量で、既存の微調整パイプラインにシームレスに統合される。 経験的に、BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。

関連論文リスト

• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models [41.28925127311434]
  Low-Rank Adaptation (LoRA)は、事前訓練された重み行列の低次元部分空間を更新することにより、微調整された大型モデルの計算およびメモリオーバーヘッドを下げる。 本稿では、損失の上限を最小化するステップ毎の最適低ランク因子化について述べる。 結果として得られた低ランク適応(RefLoRA)法は、一貫した重量とバランスの取れた重量の更新とともに、より平坦な損失景観を促進する。
  論文  参考訳（メタデータ） (2025-05-24T21:33:16Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。