論文の概要: FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.15683v2
• Date: Fri, 29 Aug 2025 07:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 15:42:25.866389
• Title: FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models
• Title（参考訳）: FedSEA-LLaMA:大規模言語モデルのためのセキュアで効率的で適応的なフェデレーション分割フレームワーク
• Authors: Zishuai Zhang, Hainan zhang, Weihua Li, Qinnan zhang, jin Dong, Yongxin Tong, Zhiming Zheng,
• Abstract要約: LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
• 参考スコア（独自算出の注目度）: 13.304846508027588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Private data holds promise for improving LLMs due to its high quality, but its scattered distribution across data silos and the high computational demands of LLMs limit their deployment in federated environments. To address this, the transformer-based federated split models are proposed, which offload most model parameters to the server (or distributed clients) while retaining only a small portion on the client to ensure data privacy. Despite this design, they still face three challenges: 1) Peer-to-peer key encryption struggles to secure transmitted vectors effectively; 2) The auto-regressive nature of LLMs means that federated split learning can only train and infer sequentially, causing high communication overhead; 3) Fixed partition points lack adaptability to downstream tasks. In this paper, we introduce FedSEA-LLaMA, a Secure, Efficient, and Adaptive Federated splitting framework based on LLaMA2. First, we inject Gaussian noise into forward-pass hidden states to enable secure end-to-end vector transmission. Second, we employ attention-mask compression and KV cache collaboration to reduce communication costs, accelerating training and inference. Third, we allow users to dynamically adjust the partition points for input/output blocks based on specific task requirements. Experiments on natural language understanding, summarization, and conversational QA tasks show that FedSEA-LLaMA maintains performance comparable to centralized LLaMA2 and achieves up to 8x speedups in training and inference. Further analysis of privacy attacks and different partition points also demonstrates the effectiveness of FedSEA-LLaMA in security and adaptability.
• Abstract（参考訳）: プライベートデータは、高品質なLLMの改善を約束するが、データサイロに分散した分散分散と、LLMの高い計算要求により、フェデレートされた環境への展開が制限される。 これを解決するために、トランスフォーマーベースのフェデレーション分割モデルが提案され、ほとんどのモデルパラメータをサーバ(あるいは分散クライアント)にオフロードすると同時に、データのプライバシを確保するためにクライアントのごく一部だけを保持する。 この設計にもかかわらず、彼らはまだ3つの課題に直面している。 1) ピアツーピア鍵暗号は,送信ベクトルを効果的に確保するために苦労する。 2) LLMの自己回帰的性質は, フェデレートされた分割学習は, 逐次的にのみ訓練・推論が可能であり, 通信オーバーヘッドが高いことを意味する。 3) 分割点の固定は下流タスクへの適応性に欠ける。 本稿では,LLaMA2に基づくセキュア,効率的,適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 まず、ガウスノイズをフォワードパス隠れ状態に注入し、セキュアな終端ベクトル伝送を実現する。 第二に、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を高速化する。 第3に、ユーザが特定のタスク要求に基づいて、入出力ブロックのパーティションポイントを動的に調整できるようにします。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持し、トレーニングと推論において最大8倍のスピードアップを達成することを示している。 プライバシ攻撃と異なるパーティションポイントのさらなる分析は、セキュリティと適応性におけるFedSEA-LLaMAの有効性を示す。

関連論文リスト

• ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over Resource-Constrained Edge Networks [22.53431546014934]
  ネットワークエッジでの大規模言語モデル(LLM)のトレーニングは、デバイスリソースの制約、厳密なデータの不均一性、プライバシーリスクの増大など、基本的な課題に直面している。 リソース制約付きエッジネットワーク上での分散LLM微調整のための分割学習(SL)と階層的フェデレーション学習(HFL)を統合する新しいフレームワークであるELSAを提案する。 まず、公的なプローブ入力と対称KL発散を用いたセマンティックフィンガープリントを構築するタスク非依存の振る舞い対応クライアントクラスタリング機構を用いる。 次に、LLMをクライアントとエッジサーバの3つの部分に分割し、クラウドはアダプタアグリゲーションにのみ使用される。 第三に
  論文  参考訳（メタデータ） (2026-01-20T10:33:19Z)
• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
  大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
  論文  参考訳（メタデータ） (2025-11-04T15:14:58Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• PC-MoE: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs [56.04036826558497]
  プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
  論文  参考訳（メタデータ） (2025-06-03T15:00:18Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Intelligent Orchestration of Distributed Large Foundation Model Inference at the Edge [46.1232919707345]
  Large Foundation Models (LFMs)は、次世代のEdge AIアプリケーションの新機能をアンロックすることを約束する。 現在の分割推論戦略では、ノード間でLPM層を分割するが、変動するワークロードに適応するようには設計されていない。 本稿では, LFM層を実行時可変変数に配置し, 分割する, 適応型分割推論オーケストレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:35:56Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• FedCoT: Federated Chain-of-Thought Distillation for Large Language Models [24.624093188197126]
  大規模言語モデル (LLMs) は、人工知能においてトランスフォーメーション・フォースとして登場し、様々なタスクにまたがる卓越した習熟を実証している。 小型言語モデル(SLM)は計算効率を提供するが、しばしば性能が低下する。 我々は,LLMからSLMへの知識の蒸留を目的としたフレームワークであるFedCoTを提案する。
  論文  参考訳（メタデータ） (2024-06-18T08:48:14Z)
• Enhancing Security and Privacy in Federated Learning using Low-Dimensional Update Representation and Proximity-Based Defense [23.280147155814955]
  Federated Learning(FL)は、データ所有者がデータをローカライズしながらモデルを協調的にトレーニングできる、有望な機械学習パラダイムである。 その可能性にもかかわらず、FLはクライアントとサーバの両方の信頼性に関する課題に直面している。 我々は,分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗に対処するために,FLURPという新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T06:46:10Z)
• A Federated Framework for LLM-based Recommendation [65.12855401912948]
  大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。 ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。 プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
  論文  参考訳（メタデータ） (2024-02-15T14:09:28Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。