論文の概要: Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA

• arxiv url: http://arxiv.org/abs/2502.01755v1
• Date: Mon, 03 Feb 2025 19:02:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:50.931968
• Title: Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA
• Title（参考訳）: LoRAの交互最適化によるLLMのロバストフェデレートファインタニング
• Authors: Shuangyi Chen, Yuanxin Guo, Yue Ju, Harik Dalal, Ashish Khisti,
• Abstract要約: BERT-Efficient Fine-Tuning (PEFT) 法では、ローランド適応 (LoRA) は計算と通信のコストを削減し、フェデレーショントレーニングを最適化する。 ファインチューンなLoRAアダプタに交互に最適化を施した,フェデレートされたフレームワークであるRoLoRAを提案する。
• 参考スコア（独自算出の注目度）: 14.789886179102425
• License:
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) optimize federated training by reducing computational and communication costs. We propose RoLoRA, a federated framework using alternating optimization to fine-tune LoRA adapters. Our approach emphasizes the importance of learning up and down projection matrices to enhance expressiveness and robustness. We use both theoretical analysis and extensive experiments to demonstrate the advantages of RoLoRA over prior approaches that either generate imperfect model updates or limit expressiveness of the model. We present theoretical analysis on a simplified linear model to demonstrate the importance of learning both down-projection and up-projection matrices in LoRA. We provide extensive experimental evaluations on a toy neural network on MNIST as well as large language models including RoBERTa-Large, Llama-2-7B on diverse tasks to demonstrate the advantages of RoLoRA over other methods.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) のようなパラメータ効率の良いファインチューニング(PEFT)手法は、計算と通信のコストを削減し、フェデレーショントレーニングを最適化する。 ファインチューンなLoRAアダプタに交互に最適化を施した,フェデレートされたフレームワークであるRoLoRAを提案する。 提案手法は,表現性や頑健性を高めるために投射行列を上下に学習することの重要性を強調する。 我々は理論解析と広範な実験の両方を用いて、不完全なモデル更新やモデルの表現性を制限した以前のアプローチよりもRoLoRAの利点を実証する。 本稿では, 簡易線形モデルに関する理論的解析を行い, LoRA のダウンプロジェクション行列とアッププロジェクション行列の両方を学習することが重要であることを示す。 我々は,MNIST 上のおもちゃのニューラルネットワークと,RoBERTa-Large,Llama-2-7B などの大規模言語モデルにおいて,RoLoRA が他の手法よりも優れていることを示す多様なタスクについて,広範囲な実験的評価を行った。

関連論文リスト

• Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
  そこで本研究では,LoRA方式のドロップアウト機構を提案する。 適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-04-15T09:32:12Z)
• PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
  部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。 実験によりPRoLoRAのパラメータ効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-02-24T13:39:05Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。