論文の概要: FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
- arxiv url: http://arxiv.org/abs/2603.13282v1
- Date: Fri, 27 Feb 2026 16:02:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:42.263425
- Title: FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
- Title（参考訳）: FedTreeLoRA:Federated LoRA Fine-Tuningにおける統計的および機能的不均一性の再検討
- Authors: Jieming Bian, Lei Wang, Letian Zhang, Jie Xu,
- Abstract要約: textbfFedTreeLoRAは,木構造アグリゲーションを用いて,きめ細かな層状アライメントを実現するフレームワークである。
NLUおよびNLGベンチマークの実験により、FedTreeLoRAは、一般化とパーソナライゼーションを効果的に調整することによって最先端の手法を著しく上回ることを示した。
- 参考スコア（独自算出の注目度）: 12.733972494875713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) with Low-Rank Adaptation (LoRA) has become a standard for privacy-preserving LLM fine-tuning. However, existing personalized methods predominantly operated under a restrictive Flat-Model Assumption: they addressed client-side \textit{statistical heterogeneity} but treated the model as a monolithic block, ignoring the \textit{functional heterogeneity} across LLM layers. We argue that these two statistical (horizontal) and functional (vertical) dimensions, are \textit{orthogonal in source yet coupled in interaction}, implying that the optimal depth of parameter sharing is functionally dependent on client similarity. To address this, we propose \textbf{FedTreeLoRA}, a framework employing tree-structured aggregation for fine-grained, layer-wise alignment. By dynamically constructing an aggregation hierarchy, FedTreeLoRA allows clients to share broad consensus on shallow `trunks' while progressively specializing on deep `branches'. Experiments on NLU and NLG benchmarks demonstrate that FedTreeLoRA significantly outperforms state-of-the-art methods by effectively reconciling generalization and personalization.
- Abstract（参考訳）: 低ランク適応(LoRA)によるフェデレートラーニング(FL)は、プライバシー保護のためのLCMファインチューニングの標準となっている。
クライアント側 \textit{statistical heterogeneity} に対処したが、モデルをモノリシックブロックとして扱い、LLM層全体にわたる \textit{functional heterogeneity} を無視した。
これら2つの統計的(水平)次元と機能的(垂直)次元は、相互作用において結合した源泉である: \textit{orthogonal in source yet coupled in Interaction} であり、パラメータ共有の最適深さはクライアントの類似性に関数的に依存していることを示唆する。
これを解決するために,木構造アグリゲーションを用いたフレームワークであるtextbf{FedTreeLoRA}を提案する。
集約階層を動的に構築することにより、FedTreeLoRAは、クライアントが浅い‘トランク’について広範なコンセンサスを共有しながら、深い‘ブランチ’を徐々に専門化することを可能にする。
NLUおよびNLGベンチマークの実験により、FedTreeLoRAは、一般化とパーソナライゼーションを効果的に調整することによって最先端の手法を著しく上回ることを示した。
関連論文リスト
- Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。
本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。
SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文 参考訳（メタデータ） (2026-03-09T07:49:56Z) - HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning [11.466314810697169]
Low-Rank Adaptation (LoRA)は、視覚変換器(ViT)を適応するための効率的でコミュニケーションに優しい方法を提供する。
我々は、階層的なLoRAフレームワークであるHiLoRAを提案し、アダプタを3つのレベル(ルート、クラスタ、リーフ)に配置する。
サブスペース類似性解析により潜在クライアント群を推定するLoRA-Subspace Adaptive Clustering機構を開発した。
論文 参考訳（メタデータ） (2026-03-03T09:25:16Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳（メタデータ） (2026-01-13T03:35:18Z) - Towards Federated Clustering: A Client-wise Private Graph Aggregation Framework [57.04850867402913]
フェデレーションクラスタリングは、分散化されたラベルのないデータからパターンを抽出する課題に対処する。
本研究では,プライバシ保護のための知識共有媒体として,局所構造グラフを革新的に活用する新しいアルゴリズムSPP-FGCを提案する。
我々のフレームワークは最先端のパフォーマンスを実現し、認証可能なプライバシー保証を維持しつつ、フェデレーションベースラインよりも最大10%(NMI)のクラスタリング精度を向上させる。
論文 参考訳（メタデータ） (2025-11-14T03:05:22Z) - Hierarchical LoRA MoE for Efficient CTR Model Scaling [56.608809143548946]
HiLoMoEは階層的なLoRA MoEフレームワークで、パラメータ効率のよい全体的なスケーリングを可能にする。
従来のスタックとは異なり、HiLoMoEルートは出力ではなく前のレイヤスコアに基づいており、すべてのレイヤが並列に実行される。
論文 参考訳（メタデータ） (2025-10-12T03:54:11Z) - Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。
ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
論文 参考訳（メタデータ） (2025-06-05T20:28:02Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。