論文の概要: Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.05568v1
• Date: Thu, 05 Jun 2025 20:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.224646
• Title: Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning
• Title（参考訳）: Ravan: フェデレーションファインチューニングのためのマルチヘッド低ランク適応
• Authors: Arian Raje, Baris Askin, Divyansh Jhunjhunwala, Gauri Joshi,
• Abstract要約: パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
• 参考スコア（独自算出の注目度）: 16.99490636203893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have not yet effectively leveraged the vast amounts of edge-device data, and federated learning (FL) offers a promising paradigm to collaboratively fine-tune LLMs without transferring private edge data to the cloud. To operate within the computation and communication constraints of edge devices, recent literature on federated fine-tuning of LLMs proposes the use of low-rank adaptation (LoRA) and similar parameter-efficient methods. However, LoRA-based methods suffer from accuracy degradation in FL settings, primarily because of data and computational heterogeneity across clients. We propose \textsc{Ravan}, an adaptive multi-head LoRA method that balances parameter efficiency and model expressivity by reparameterizing the weight updates as the sum of multiple LoRA heads $s_i\textbf{B}_i\textbf{H}_i\textbf{A}_i$ in which only the core matrices $\textbf{H}_i$ and their lightweight scaling factors $s_i$ are trained. These trainable scaling factors let the optimization focus on the most useful heads, recovering a higher-rank approximation of the full update without increasing the number of communicated parameters since clients upload $s_i\textbf{H}_i$ directly. Experiments on vision and language benchmarks show that \textsc{Ravan} improves test accuracy by 2-8\% over prior parameter-efficient baselines, making it a robust and scalable solution for federated fine-tuning of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、エッジデバイスデータの大量利用をまだ行っていないが、フェデレートラーニング(FL)は、プライベートエッジデータをクラウドに転送することなく、協調的にLLMを微調整するための有望なパラダイムを提供する。 エッジデバイスの計算と通信の制約を回避するため,LLMのファインチューニングに関する最近の文献では,ローランク適応(LoRA)と同様のパラメータ効率の手法が提案されている。 しかし、LoRAベースの手法は、主にクライアント間でのデータと計算の不均一性のために、FL設定の精度低下に悩まされる。 パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法である \textsc{Ravan} を提案し、重み付けを複数のLoRAヘッドの和 $s_i\textbf{B}_i\textbf{H}_i\textbf{A}_i$ として再パラメータ化し、コア行列 $\textbf{H}_i$ とそれらの軽量スケーリング要素 $s_i$ のみをトレーニングする。 クライアントが直接$s_i\textbf{H}_i$をアップロードするため、これらのトレーニング可能なスケーリング要因により、最適化は最も有用なヘッドにフォーカスし、通信パラメータの数を増やすことなく、完全な更新の上位の近似を回復する。 ビジョンと言語ベンチマークの実験では,従来のパラメータ効率の基準値よりも2～8倍の精度でテスト精度が向上し,LLMのフェデレートされた微調整のための堅牢でスケーラブルなソリューションであることが示されている。

関連論文リスト

• WeightLoRA: Keep Only Necessary Adapters [79.89637596855]
  低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。 我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。 我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
  論文  参考訳（メタデータ） (2025-06-03T10:33:16Z)
• HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
  大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。 膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。 本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-05T17:09:19Z)
• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。