論文の概要: PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity
- arxiv url: http://arxiv.org/abs/2606.15963v1
- Date: Sun, 14 Jun 2026 18:44:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.96507
- Title: PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity
- Title（参考訳）: PreLort: ランク不均一下でのフェデレーションファインチューニングのためのプレフィックス-Nested LoRA
- Abstract要約: LoRAのようなパラメータ効率のよい手法を用いた大規模言語モデルのファインタニングにより、基礎モデルのプライバシ保護が実現される。
既存の手法では、情報をランク次元に分散する方法を制御できないため、共有低ランク表現を最適に使用することができる。
PreLort: アダプター次元をプレフィックス階層に整理するフェデレートLoRAのネスト型低ランク定式化を提案する。
- 参考スコア（独自算出の注目度）: 34.1917590132869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated fine-tuning of large language models using parameter-efficient methods such as LoRA enables privacy-preserving adaptation of foundation models. Heterogeneous hardware resources introduce challenges, as clients with different adapter ranks cannot be directly aggregated. While existing methods enable aggregation under heterogeneous ranks, they fail to control how information is distributed across rank dimensions, leading to suboptimal use of shared low-rank representations. Instead, we propose PreLort: a nested low-rank formulation for federated LoRA that organizes adapter dimensions into a prefix hierarchy. Our approach ensures that lower-rank dimensions encode task-relevant information, while higher-rank dimensions capture additional capacity. Building on this, we introduce (i) a segment-wise aggregation rule that averages only over clients contributing to each rank segment, avoiding dilution from zero-padded lower-rank clients, and (ii) a prefix-nested training strategy that optimizes each adapter under multiple rank truncations, encouraging useful signal to concentrate in low-rank prefix dimensions. Together, these components encourage a consistent low-rank prefix capturing the most task-relevant information, while higher-rank dimensions learn additional capacity. This allows low-rank clients to benefit from richer information contributed by higher-rank clients, as prefix dimensions are consistently learned and aggregated. Experiments demonstrate that our method consistently outperforms prior heterogeneous federated LoRA methods in accuracy and ROUGE-L, while achieving lower or comparable perplexity across multiple base models.
- Abstract（参考訳）: LoRAのようなパラメータ効率のよい手法を用いた大規模言語モデルのファインタニングにより、基礎モデルのプライバシ保護が実現される。
不均一なハードウェアリソースは、異なるアダプタランクのクライアントを直接集約できないため、課題をもたらす。
既存の手法では、異種ランクでのアグリゲーションが可能であるが、ランク次元にまたがる情報の分散の制御に失敗し、共有低ランク表現の準最適利用に繋がる。
代わりに、我々は、アダプタ次元をプレフィックス階層に整理するフェデレーションLoRA用のネスト付き低ランク定式化であるPreLortを提案する。
提案手法では,低ランク次元がタスク関連情報を符号化し,高ランク次元が付加能力を取得する。
これに基づいて、我々は紹介する
一 ゼロパッド化下級顧客からの希釈を回避し、各ランクセグメントに寄与する顧客のみを平均化するセグメントワイドアグリゲーションルール
(i)複数のランク切り込みの下で各アダプタを最適化し、低ランクのプレフィックス次元に集中するための有用な信号を促すプレフィックス付きトレーニング戦略。
これらのコンポーネントは共に、最もタスクに関連する情報をキャプチャする一貫した低ランクのプレフィックスを奨励し、上位のディメンションは追加のキャパシティを学習する。
これにより、プレフィックスの次元が一貫して学習され、集約されるため、低ランクのクライアントは、上位のクライアントが提供したリッチな情報の恩恵を受けることができる。
実験により, この手法は, 複数のベースモデルにまたがる低次あるいは同等のパープレキシティを達成しつつ, 従来の不均一フェデレーションLoRA法よりも精度, ROUGE-Lで常に優れることを示した。
関連論文リスト
- Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。
適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。
NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-09-01T03:09:20Z) - SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks [15.20977008792474]
SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。
SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。
一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
論文 参考訳（メタデータ） (2026-08-10T18:59:25Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。
パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。
複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
論文 参考訳（メタデータ） (2026-03-20T08:24:49Z) - Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。
本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。
SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文 参考訳（メタデータ） (2026-03-09T07:49:56Z) - STT-GS: Sample-Then-Transmit Edge Gaussian Splatting with Joint Client Selection and Power Control [77.56170394100022]
Edge Gaussian splatting (EGS)は、分散クライアントからデータを集約し、エッジサーバでグローバルGSモデルをトレーニングする。
本稿では、異なるクライアントのビューコントリビューションを識別する新しいGS指向の目的関数を定式化する。
その結果,低サンプリング比でGS指向の目的を正確に予測できることが判明した。
論文 参考訳（メタデータ） (2025-10-15T06:20:47Z) - Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。
ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
論文 参考訳（メタデータ） (2025-06-05T20:28:02Z) - FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。
本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
論文 参考訳（メタデータ） (2025-03-20T04:49:40Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。
この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。
高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
論文 参考訳（メタデータ） (2024-06-25T11:49:33Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。