論文の概要: FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2510.12078v1
• Date: Tue, 14 Oct 2025 02:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.152655
• Title: FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning
• Title（参考訳）: FedLoDrop: LLMファインチューニングのためのフェデレーションLoRAとドロップアウト
• Authors: Sijing Xie, Dingzhu Wen, Changsheng You, Qimei Chen, Mehdi Bennis, Kaibin Huang,
• Abstract要約: 大規模言語モデル(LLM)は、特定のタスクに汎用モデルを適用するために不可欠である。 本稿では,FedLoDropを用いたFederated LoRAを提案する。FedLoDropは,Federated LoRAのトレーニング可能な行列の行と列にドロップアウトを適用する新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 65.26899091946417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning (FT) large language models (LLMs) is crucial for adapting general-purpose models to specific tasks, enhancing accuracy and relevance with minimal resources. To further enhance generalization ability while reducing training costs, this paper proposes Federated LoRA with Dropout (FedLoDrop), a new framework that applies dropout to the rows and columns of the trainable matrix in Federated LoRA. A generalization error bound and convergence analysis under sparsity regularization are obtained, which elucidate the fundamental trade-off between underfitting and overfitting. The error bound reveals that a higher dropout rate increases model sparsity, thereby lowering the upper bound of pointwise hypothesis stability (PHS). While this reduces the gap between empirical and generalization errors, it also incurs a higher empirical error, which, together with the gap, determines the overall generalization error. On the other hand, though dropout reduces communication costs, deploying FedLoDrop at the network edge still faces challenges due to limited network resources. To address this issue, an optimization problem is formulated to minimize the upper bound of the generalization error, by jointly optimizing the dropout rate and resource allocation subject to the latency and per-device energy consumption constraints. To solve this problem, a branch-and-bound (B\&B)-based method is proposed to obtain its globally optimal solution. Moreover, to reduce the high computational complexity of the B\&B-based method, a penalized successive convex approximation (P-SCA)-based algorithm is proposed to efficiently obtain its high-quality suboptimal solution. Finally, numerical results demonstrate the effectiveness of the proposed approach in mitigating overfitting and improving the generalization capability.
• Abstract（参考訳）: 微細チューニング(FT)大言語モデル(LLM)は、汎用モデルを特定のタスクに適応させ、最小限のリソースで正確性と関連性を高めるために重要である。 本稿では,FedLoDropを用いたFederated LoRAを提案する。FedLoDropは,FedLoRAのトレーニング可能な行列の行と列にドロップアウトを適用した新しいフレームワークである。 疎度正則化の下での一般化誤差境界と収束解析が得られ、不適合と過適合の基本的なトレードオフを解明する。 誤差境界は、より高いドロップアウト率がモデル間隔を増大させ、ポイントワイズ仮説安定性(PHS)の上限を下げることを明らかにする。 これにより、経験的誤差と一般化誤差のギャップが減るが、経験的誤差も高くなり、その差と合わせて全体の一般化誤差が決定される。 一方、ドロップアウトは通信コストを削減しますが、ネットワークエッジにFedLoDropをデプロイすることは、ネットワークリソースが限られているため、依然として課題に直面しています。 この問題に対処するために、レイテンシとデバイス毎のエネルギー消費制約を考慮したドロップアウト率とリソース割り当てを協調的に最適化することにより、一般化誤差の上限を最小化する最適化問題を定式化する。 この問題を解決するために,ブランチ・アンド・バウンド(B\&B)に基づく手法を提案し,その大域的最適解を求める。 さらに,B\&B法における計算複雑性を低減するため,高次凸近似法(P-SCA)に基づくアルゴリズムを提案し,高品質な準最適解を求める。 最後に, 数値計算により, オーバーフィッティングを緩和し, 一般化能力を向上する手法の有効性を示した。

関連論文リスト

• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Federated Dropout: Convergence Analysis and Resource Allocation [43.51667477978089]
  Federated Dropoutは、フェデレートされた学習をネットワークエッジにデプロイする際のコミュニケーションとボトルネックの両方を克服する効率的なテクニックである。 フェデレート・ドロップアウトの理論収束分析はまだ文献に欠けている。 全てのラウンドにおける損失関数を最小化するために、ドロップアウト率と帯域幅割り当てを協調的に最適化する低複雑さアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-31T10:24:15Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Convergence Acceleration in Wireless Federated Learning: A Stackelberg Game Approach [46.72890704790504]
  本稿では,FLOWN(Federated Learning over Wireless Network)における収束時間の共同最適化に関する問題点について検討する。 エネルギー制約下でのFLOWNの参加デバイス選択の基準とプロトコルを考察し,そのデバイス選択への影響を導出する。 本稿では,AoUに基づくデバイス選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-14T13:20:26Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。