論文の概要: Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2508.03820v1
• Date: Tue, 05 Aug 2025 18:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.408788
• Title: Bernoulli-LoRA: A Theoretical Framework for Randomized Low-Rank Adaptation
• Title（参考訳）: Bernoulli-LoRA:ランダム化低ランク適応のための理論的フレームワーク
• Authors: Igor Sokolov, Abdurakhmon Sadiev, Yury Demidovich, Fawaz S Al-Qahtani, Peter Richtárik,
• Abstract要約: 我々は既存のLoRAアプローチを統合する新しい理論フレームワークであるBernoulli-LoRAを紹介する。 本手法は,理論的トラクタビリティを維持しつつ,既存の更新戦略を理論的に包含する。
• 参考スコア（独自算出の注目度）: 46.73416509844152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has emerged as a crucial approach for adapting large foundational models to specific tasks, particularly as model sizes continue to grow exponentially. Among PEFT methods, Low-Rank Adaptation (LoRA) (arXiv:2106.09685) stands out for its effectiveness and simplicity, expressing adaptations as a product of two low-rank matrices. While extensive empirical studies demonstrate LoRA's practical utility, theoretical understanding of such methods remains limited. Recent work on RAC-LoRA (arXiv:2410.08305) took initial steps toward rigorous analysis. In this work, we introduce Bernoulli-LoRA, a novel theoretical framework that unifies and extends existing LoRA approaches. Our method introduces a probabilistic Bernoulli mechanism for selecting which matrix to update. This approach encompasses and generalizes various existing update strategies while maintaining theoretical tractability. Under standard assumptions from non-convex optimization literature, we analyze several variants of our framework: Bernoulli-LoRA-GD, Bernoulli-LoRA-SGD, Bernoulli-LoRA-PAGE, Bernoulli-LoRA-MVR, Bernoulli-LoRA-QGD, Bernoulli-LoRA-MARINA, and Bernoulli-LoRA-EF21, establishing convergence guarantees for each variant. Additionally, we extend our analysis to convex non-smooth functions, providing convergence rates for both constant and adaptive (Polyak-type) stepsizes. Through extensive experiments on various tasks, we validate our theoretical findings and demonstrate the practical efficacy of our approach. This work is a step toward developing theoretically grounded yet practically effective PEFT methods.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、特にモデルサイズが指数関数的に増加し続けるにつれて、大きな基礎モデルを特定のタスクに適応するための重要なアプローチとして現れてきた。 PEFT法では、ローランク適応 (LoRA) (arXiv:2106.09685) は2つの低ランク行列の積として適応を表現する。 広範な実証研究がLoRAの実用性を実証する一方で、そのような方法に関する理論的理解は限定的である。 RAC-LoRA(arXiv:2410.08305)の最近の研究は厳密な分析に向けた最初の一歩を踏み出した。 本稿では,既存のLoRAアプローチを統一・拡張する理論的枠組みであるBernoulli-LoRAを紹介する。 本手法では,どの行列を更新するかを選択する確率的ベルヌーイ機構を導入する。 このアプローチは、理論的なトラクタビリティを維持しながら、既存の更新戦略を包含し、一般化する。 非凸最適化文献からの標準的な仮定に基づき、Bernolli-LoRA-GD、Bernolli-LoRA-SGD、Bernolli-LoRA-PAGE、Bernolli-LoRA-MVR、Bernolli-LoRA-QGD、Bernolli-LoRA-MARINA、Bernolli-LoRA-EF21といったフレームワークの変種を分析し、各変種に対する収束保証を確立する。 さらに、我々は解析を非滑らか関数の凸に拡張し、定数と適応性(ポリアク型)の両方の段階化に対する収束率を提供する。 様々なタスクに関する広範な実験を通じて,理論的な知見を検証し,本手法の有効性を実証する。 この研究は理論上は基礎的だが実用的なPEFT法の開発に向けた一歩である。

関連論文リスト

• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts [37.43961020113692]
  Low-rank Adaptation (LoRA) は、大規模基盤モデルを微調整するための強力な手法として登場した。 本稿では,LoRAモデルとMixture of Expertsモデルとの関連性を検討することによって,ロラの理論解析を行う。
  論文  参考訳（メタデータ） (2025-02-05T10:03:09Z)
• Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA [14.789886179102425]
  BERT-Efficient Fine-Tuning (PEFT) 法では、ローランド適応 (LoRA) は計算と通信のコストを削減し、フェデレーショントレーニングを最適化する。 ファインチューンなLoRAアダプタに交互に最適化を施した,フェデレートされたフレームワークであるRoLoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-03T19:02:00Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
  そこで本研究では,LoRA方式のドロップアウト機構を提案する。 適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-04-15T09:32:12Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。