論文の概要: ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over Resource-Constrained Edge Networks

• arxiv url: http://arxiv.org/abs/2601.13824v1
• Date: Tue, 20 Jan 2026 10:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.264569
• Title: ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over Resource-Constrained Edge Networks
• Title（参考訳）: ELSA: リソース制約エッジネットワーク上でのプライバシを考慮した階層的フェデレーション学習のための効率的なLLM中心スプリットアグリゲーション
• Authors: Xiaohong Yang, Tong Xie, Minghui Liwang, Chikai Shang, Yang Lu, Zhenzhen Jiao, Liqun Fu, Seyyedali Hosseinalipour,
• Abstract要約: ネットワークエッジでの大規模言語モデル(LLM)のトレーニングは、デバイスリソースの制約、厳密なデータの不均一性、プライバシーリスクの増大など、基本的な課題に直面している。 リソース制約付きエッジネットワーク上での分散LLM微調整のための分割学習(SL)と階層的フェデレーション学習(HFL)を統合する新しいフレームワークであるELSAを提案する。 まず、公的なプローブ入力と対称KL発散を用いたセマンティックフィンガープリントを構築するタスク非依存の振る舞い対応クライアントクラスタリング機構を用いる。 次に、LLMをクライアントとエッジサーバの3つの部分に分割し、クラウドはアダプタアグリゲーションにのみ使用される。 第三に
• 参考スコア（独自算出の注目度）: 22.53431546014934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training large language models (LLMs) at the network edge faces fundamental challenges arising from device resource constraints, severe data heterogeneity, and heightened privacy risks. To address these, we propose ELSA (Efficient LLM-centric Split Aggregation), a novel framework that systematically integrates split learning (SL) and hierarchical federated learning (HFL) for distributed LLM fine-tuning over resource-constrained edge networks. ELSA introduces three key innovations. First, it employs a task-agnostic, behavior-aware client clustering mechanism that constructs semantic fingerprints using public probe inputs and symmetric KL divergence, further enhanced by prediction-consistency-based trust scoring and latency-aware edge assignment to jointly address data heterogeneity, client unreliability, and communication constraints. Second, it splits the LLM into three parts across clients and edge servers, with the cloud used only for adapter aggregation, enabling an effective balance between on-device computation cost and global convergence stability. Third, it incorporates a lightweight communication scheme based on computational sketches combined with semantic subspace orthogonal perturbation (SS-OP) to reduce communication overhead while mitigating privacy leakage during model exchanges. Experiments across diverse NLP tasks demonstrate that ELSA consistently outperforms state-of-the-art methods in terms of adaptability, convergence behavior, and robustness, establishing a scalable and privacy-aware solution for edge-side LLM fine-tuning under resource constraints.
• Abstract（参考訳）: ネットワークエッジでの大規模言語モデル(LLM)のトレーニングは、デバイスリソースの制約、厳密なデータの不均一性、プライバシーリスクの増大など、基本的な課題に直面している。 そこで我々は,資源制約付きエッジネットワーク上での分散LLMファインチューニングのための分割学習(SL)と階層的フェデレーション学習(HFL)を体系的に統合する,ELSA(Efficient LLM-centric Split Aggregation)を提案する。 ELSAは3つの重要なイノベーションを導入している。 まず、公開プローブ入力と対称KL発散を利用してセマンティックフィンガーを構築するタスク非依存のクライアントクラスタリング機構を使用し、さらに予測一貫性に基づく信頼評価と遅延認識エッジ割り当てにより、データの不均一性、クライアントの不確実性、通信制約に共同で対処する。 第2に、LLMをクライアントとエッジサーバの3つの部分に分割し、クラウドはアダプタアグリゲーションにのみ使用され、オンデバイス計算コストとグローバルコンバージェンス安定性の効果的なバランスを可能にする。 第3に、セマンティック・サブスペースの直交摂動(SS-OP)と組み合わせた計算スケッチに基づく軽量な通信方式を導入し、モデル交換時のプライバシー漏洩を軽減する。 多様なNLPタスクに対する実験により、ELSAは適応性、収束挙動、堅牢性の点で最先端の手法を一貫して上回り、リソース制約の下でエッジサイドのLLMを微調整するためのスケーラブルでプライバシーに配慮したソリューションを確立した。

関連論文リスト

• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• Edge-Assisted Collaborative Fine-Tuning for Multi-User Personalized Artificial Intelligence Generated Content (AIGC) [38.59865959433328]
  クラウドベースのソリューションは計算を助けるが、プライバシのリスク、パーソナライズ効率、通信コストに対処するのに不足することが多い。 本稿では,クラスタを意識した新しい階層型統合フレームワークを提案する。 このフレームワークは,スケーラブルなマルチユーザパーソナライズAIGCサービスの実用性を維持しつつ,収束の加速を実現する。
  論文  参考訳（メタデータ） (2025-08-06T06:07:24Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models [13.304846508027588]
  LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association [93.46811590752814]
  階層型セキュアアグリゲーションは、フェデレートラーニング(FL)によって動機付けられる 本稿では,各ユーザが連続する$B$のリレーに接続される循環型アソシエーションパターンを用いたHSAについて考察する。 勾配符号化にインスパイアされた入力に対するメッセージ設計を含む効率的なアグリゲーション方式を提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:53:37Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
  Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。 現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。 本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-21T07:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。