論文の概要: Federated Low-Rank Adaptation for Foundation Models: A Survey

• arxiv url: http://arxiv.org/abs/2505.13502v1
• Date: Fri, 16 May 2025 07:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.343431
• Title: Federated Low-Rank Adaptation for Foundation Models: A Survey
• Title（参考訳）: ファンデーションモデルのためのフェデレーション低ランク適応:調査
• Authors: Yiyuan Yang, Guodong Long, Qinghua Lu, Liming Zhu, Jing Jiang, Chengqi Zhang,
• Abstract要約: Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を劇的に減らし、微調整基礎モデルのリソース効率の良い代替手段を提供する。 本調査では,LoRAが基礎モデルのファインチューニングにどのように統合されているかを検討する。
• 参考スコア（独自算出の注目度）: 43.891813267708265
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Effectively leveraging private datasets remains a significant challenge in developing foundation models. Federated Learning (FL) has recently emerged as a collaborative framework that enables multiple users to fine-tune these models while mitigating data privacy risks. Meanwhile, Low-Rank Adaptation (LoRA) offers a resource-efficient alternative for fine-tuning foundation models by dramatically reducing the number of trainable parameters. This survey examines how LoRA has been integrated into federated fine-tuning for foundation models, an area we term FedLoRA, by focusing on three key challenges: distributed learning, heterogeneity, and efficiency. We further categorize existing work based on the specific methods used to address each challenge. Finally, we discuss open research questions and highlight promising directions for future investigation, outlining the next steps for advancing FedLoRA.
• Abstract（参考訳）: プライベートデータセットを効果的に活用することは、基礎モデルを開発する上で重要な課題である。 フェデレートラーニング(FL)は、データプライバシのリスクを軽減しつつ、複数のユーザがこれらのモデルを微調整できるコラボレーティブフレームワークとして最近登場した。 一方、LoRA(Lolow-Rank Adaptation)は、トレーニング可能なパラメータの数を劇的に減らし、微調整基礎モデルのリソース効率の良い代替手段を提供する。 この調査では、分散学習、異質性、効率性の3つの主要な課題に焦点をあてて、FedLoRAと呼ばれるファウンデーションモデルのファウンデーションチューニングにLoRAがどのように統合されているかを検討する。 さらに、各課題に対処するために使用される具体的な方法に基づいて、既存の業務を分類する。 最後に、FedLoRAの推進に向けた次のステップを概説し、オープンな研究課題について議論し、今後の調査に向けた有望な方向性を明らかにする。

関連論文リスト

• Towards One-shot Federated Learning: Advances, Challenges, and Future Directions [7.4943359806654435]
  ワンショットFLは、1ラウンドでの協調トレーニングを可能にし、反復的なコミュニケーションの必要性を排除します。 ワンショットFLは、データローカリティを維持しながらシングルラウンドモデルアグリゲーションを可能にすることで、リソース制限デバイスをサポートする。
  論文  参考訳（メタデータ） (2025-05-05T07:46:21Z)
• A Survey on Federated Fine-tuning of Large Language Models [17.79395946441051]
  Federated Learning(FL)は、データプライバシを確保しながら協調的なモデル適応を可能にする、有望なアプローチを提供する。 まず,Large Language Models (LLMs) とFLの両方の歴史的進化を,関連する事前調査を要約しながら追跡する。 次に、既存のパラメータ効率細調整法(PEFT)について広範な研究を行い、FLにおける適用可能性について検討する。 最後に、重要なオープン課題を特定し、今後のFedLLMの進歩を推進するための有望な研究方針を概説する。
  論文  参考訳（メタデータ） (2025-03-15T06:52:10Z)
• Low-Rank Adaptation for Foundation Models: A Comprehensive Review [42.23155921954156]
  Low-Rank Adaptation (LoRA)は、これらの課題を緩和するための非常に有望なアプローチとして登場した。 この調査は、大規模な言語モデルから一般的な基礎モデルまで、LoRAテクニックの包括的なレビューを初めて提供する。
  論文  参考訳（メタデータ） (2024-12-31T09:38:55Z)
• FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization [11.954904313477176]
  Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。 本研究ではFedMACという新しいフレームワークを提案し,FLに欠落した部分モダリティ条件下でのマルチモダリティの解消を図った。
  論文  参考訳（メタデータ） (2024-10-04T01:24:02Z)
• Vertical Federated Learning for Effectiveness, Security, Applicability: A Survey [67.48187503803847]
  Vertical Federated Learning(VFL)は、プライバシ保護のための分散学習パラダイムである。 近年の研究では、VFLの様々な課題に対処する有望な成果が示されている。 この調査は、最近の展開を体系的に概観する。
  論文  参考訳（メタデータ） (2024-05-25T16:05:06Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• A Comprehensive Survey on Source-free Domain Adaptation [69.17622123344327]
  ソースフリードメイン適応(SFDA)の研究は近年注目を集めている。 SFDAの最近の進歩を包括的に調査し、それらを統一的な分類体系に整理する。 一般的な3つの分類基準で30以上のSFDA法を比較検討した。
  論文  参考訳（メタデータ） (2023-02-23T06:32:09Z)
• Exploring Neural Models for Query-Focused Summarization [74.41256438059256]
  クエリ中心の要約(QFS)に対するニューラルネットワークの体系的な探索を行う。 本稿では,QMSumデータセットの最先端性能を最大3.38ROUGE-1,3.72ROUGE-2,3.28ROUGE-Lのマージンで達成する2つのモデル拡張を提案する。
  論文  参考訳（メタデータ） (2021-12-14T18:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。