論文の概要: FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.15683v2
• Date: Fri, 29 Aug 2025 07:40:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 15:42:25.866389
• Title: FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models
• Title（参考訳）: FedSEA-LLaMA:大規模言語モデルのためのセキュアで効率的で適応的なフェデレーション分割フレームワーク
• Authors: Zishuai Zhang, Hainan zhang, Weihua Li, Qinnan zhang, jin Dong, Yongxin Tong, Zhiming Zheng,
• Abstract要約: LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
• 参考スコア（独自算出の注目度）: 13.304846508027588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Private data holds promise for improving LLMs due to its high quality, but its scattered distribution across data silos and the high computational demands of LLMs limit their deployment in federated environments. To address this, the transformer-based federated split models are proposed, which offload most model parameters to the server (or distributed clients) while retaining only a small portion on the client to ensure data privacy. Despite this design, they still face three challenges: 1) Peer-to-peer key encryption struggles to secure transmitted vectors effectively; 2) The auto-regressive nature of LLMs means that federated split learning can only train and infer sequentially, causing high communication overhead; 3) Fixed partition points lack adaptability to downstream tasks. In this paper, we introduce FedSEA-LLaMA, a Secure, Efficient, and Adaptive Federated splitting framework based on LLaMA2. First, we inject Gaussian noise into forward-pass hidden states to enable secure end-to-end vector transmission. Second, we employ attention-mask compression and KV cache collaboration to reduce communication costs, accelerating training and inference. Third, we allow users to dynamically adjust the partition points for input/output blocks based on specific task requirements. Experiments on natural language understanding, summarization, and conversational QA tasks show that FedSEA-LLaMA maintains performance comparable to centralized LLaMA2 and achieves up to 8x speedups in training and inference. Further analysis of privacy attacks and different partition points also demonstrates the effectiveness of FedSEA-LLaMA in security and adaptability.
• Abstract（参考訳）: プライベートデータは、高品質なLLMの改善を約束するが、データサイロに分散した分散分散と、LLMの高い計算要求により、フェデレートされた環境への展開が制限される。 これを解決するために、トランスフォーマーベースのフェデレーション分割モデルが提案され、ほとんどのモデルパラメータをサーバ(あるいは分散クライアント)にオフロードすると同時に、データのプライバシを確保するためにクライアントのごく一部だけを保持する。 この設計にもかかわらず、彼らはまだ3つの課題に直面している。 1) ピアツーピア鍵暗号は,送信ベクトルを効果的に確保するために苦労する。 2) LLMの自己回帰的性質は, フェデレートされた分割学習は, 逐次的にのみ訓練・推論が可能であり, 通信オーバーヘッドが高いことを意味する。 3) 分割点の固定は下流タスクへの適応性に欠ける。 本稿では,LLaMA2に基づくセキュア,効率的,適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 まず、ガウスノイズをフォワードパス隠れ状態に注入し、セキュアな終端ベクトル伝送を実現する。 第二に、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を高速化する。 第3に、ユーザが特定のタスク要求に基づいて、入出力ブロックのパーティションポイントを動的に調整できるようにします。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持し、トレーニングと推論において最大8倍のスピードアップを達成することを示している。 プライバシ攻撃と異なるパーティションポイントのさらなる分析は、セキュリティと適応性におけるFedSEA-LLaMAの有効性を示す。

関連論文リスト

• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• PC-MoE: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs [56.04036826558497]
  プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
  論文  参考訳（メタデータ） (2025-06-03T15:00:18Z)
• Intelligent Orchestration of Distributed Large Foundation Model Inference at the Edge [46.1232919707345]
  Large Foundation Models (LFMs)は、次世代のEdge AIアプリケーションの新機能をアンロックすることを約束する。 現在の分割推論戦略では、ノード間でLPM層を分割するが、変動するワークロードに適応するようには設計されていない。 本稿では, LFM層を実行時可変変数に配置し, 分割する, 適応型分割推論オーケストレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:35:56Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• Enhancing Security and Privacy in Federated Learning using Low-Dimensional Update Representation and Proximity-Based Defense [23.280147155814955]
  Federated Learning(FL)は、データ所有者がデータをローカライズしながらモデルを協調的にトレーニングできる、有望な機械学習パラダイムである。 その可能性にもかかわらず、FLはクライアントとサーバの両方の信頼性に関する課題に直面している。 我々は,分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗に対処するために,FLURPという新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T06:46:10Z)
• A Federated Framework for LLM-based Recommendation [65.12855401912948]
  大規模言語モデル(LLM)は、微調整されたユーザ行動データを通じて生成レコメンデーションシステムに権限を与えている。 ユーザーデータを利用すると、重大なプライバシー上のリスクが発生し、倫理上のジレンマやデータ保護規則違反につながる可能性がある。 プライバシー問題に対処するため、Fed4Rec(Federated Learning for Recommendation)が有望なソリューションとして特定されている。
  論文  参考訳（メタデータ） (2024-02-15T14:09:28Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。