論文の概要: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2506.02965v1
• Date: Tue, 03 Jun 2025 15:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.80714
• Title: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs
• Title（参考訳）: 実験用LLMのメモリ効率とプライバシ保護のための協調学習
• Authors: Ze Yu Zhang, Bolin Ding, Bryan Kian Hsiang Low,
• Abstract要約: プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
• 参考スコア（独自算出の注目度）: 56.04036826558497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has been gaining popularity due to its successful adaptation to large language models (LLMs). In this work, we introduce Privacy-preserving Collaborative Mixture-of-Experts (PC-MoE), which leverages the sparsity of the MoE architecture for memory-efficient decentralized collaborative LLM training, enabling multiple parties with limited GPU-memory and data resources to collectively train more capable LLMs than they could achieve individually. At the same time, this approach protects training data privacy of each participant by keeping training data, as well as parts of the forward pass signal and gradients locally within each party. By design, PC-MoE synergistically combines the strengths of distributed computation with strong confidentiality assurances. Unlike most privacy-preserving schemes, which pay for confidentiality with lower task accuracy, our framework breaks that trade-off: across seven popular LLM benchmarks, it almost matches (and sometimes exceeds) the performance and convergence rate of a fully centralized model, enjoys near 70% peak GPU RAM reduction, while being fully robust against reconstruction attacks.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、大規模言語モデル (LLM) への適応の成功により人気を集めている。 本研究では、メモリ効率の低い分散協調LDMトレーニングにおいて、MoEアーキテクチャの空間性を生かし、GPUメモリとデータリソースに制限された複数のパーティが、個別に達成できる以上の有能LSMを集団でトレーニングできるようにするPC-MoE(Privacy-Preserving Collaborative Mixture-of-Experts)を導入する。 同時に、このアプローチは、トレーニングデータとフォワードパス信号の一部と、各パーティ内の局所的な勾配を保持することで、各参加者のトレーニングデータのプライバシを保護する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 我々のフレームワークは、7つの人気のあるLCMベンチマークにおいて、完全に集中したモデルのパフォーマンスと収束率とほぼ一致し(そして時には超える)、再構築攻撃に対して完全に堅牢でありながら、GPURAMの最大70%近くを享受しています。

関連論文リスト

• A Federated Splitting Framework for LLMs: Security, Efficiency, and Adaptability [15.194518946737801]
  FL-LLaMAはLLaMA2をベースとしたセキュアで効率的で適応的なフェデレーション分割フレームワークである。 我々は、並列トレーニングを実現するためにクライアントバッチとサーバ階層戦略、そして推論を高速化するために注目マスク圧縮とKVキャッシュ機構を採用する。 NLU、要約、会話型QAタスクの実験では、FL-LLaMAは集中型LLaMA2に匹敵する性能を維持し、最大2倍の列車スピードアップと8倍の推論スピードアップを実現している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Scalable Multi-Agent Reinforcement Learning for Residential Load Scheduling under Data Governance [5.37556626581816]
  マルチエージェント強化学習 (MARL) は, 協調型住宅負荷スケジューリング問題において, 顕著な進歩を遂げている。 MARLの最も一般的なパラダイムである集中型トレーニングは、通信制約のあるクラウドエッジ環境における大規模デプロイメントを制限する。 提案手法は,家庭の局所的な観察のみに基づく個人評論家の学習機能である,アクタ批判的手法に基づく。
  論文  参考訳（メタデータ） (2021-10-06T14:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。