論文の概要: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2506.02965v1
• Date: Tue, 03 Jun 2025 15:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.80714
• Title: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs
• Title（参考訳）: 実験用LLMのメモリ効率とプライバシ保護のための協調学習
• Abstract要約: プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
• 参考スコア（独自算出の注目度）: 56.04036826558497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has been gaining popularity due to its successful adaptation to large language models (LLMs). In this work, we introduce Privacy-preserving Collaborative Mixture-of-Experts (PC-MoE), which leverages the sparsity of the MoE architecture for memory-efficient decentralized collaborative LLM training, enabling multiple parties with limited GPU-memory and data resources to collectively train more capable LLMs than they could achieve individually. At the same time, this approach protects training data privacy of each participant by keeping training data, as well as parts of the forward pass signal and gradients locally within each party. By design, PC-MoE synergistically combines the strengths of distributed computation with strong confidentiality assurances. Unlike most privacy-preserving schemes, which pay for confidentiality with lower task accuracy, our framework breaks that trade-off: across seven popular LLM benchmarks, it almost matches (and sometimes exceeds) the performance and convergence rate of a fully centralized model, enjoys near 70% peak GPU RAM reduction, while being fully robust against reconstruction attacks.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、大規模言語モデル (LLM) への適応の成功により人気を集めている。 本研究では、メモリ効率の低い分散協調LDMトレーニングにおいて、MoEアーキテクチャの空間性を生かし、GPUメモリとデータリソースに制限された複数のパーティが、個別に達成できる以上の有能LSMを集団でトレーニングできるようにするPC-MoE(Privacy-Preserving Collaborative Mixture-of-Experts)を導入する。 同時に、このアプローチは、トレーニングデータとフォワードパス信号の一部と、各パーティ内の局所的な勾配を保持することで、各参加者のトレーニングデータのプライバシを保護する。 設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。 我々のフレームワークは、7つの人気のあるLCMベンチマークにおいて、完全に集中したモデルのパフォーマンスと収束率とほぼ一致し(そして時には超える)、再構築攻撃に対して完全に堅牢でありながら、GPURAMの最大70%近くを享受しています。

関連論文リスト

• Privacy-Preserving Split Learning for Federated LLM Fine-Tuning [12.651705155064102]
  ダウンストリーム適応には、ドメイン固有データ上での微調整大型言語モデル(LLM)が不可欠である。 多くのデプロイメントにおいて、参加者は完全なモデルをローカルに保持することはできない。スプリットラーニング(SL)は、モデルを参加者とサーバの間で分割することで、少数の部分だけがローカルに実行されるようにすることで、この問題に対処する。 フェデレートラーニング(FL)は、生データの代わりにモデル更新のみを共有することで、参加者間の共同トレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-09-09T06:48:21Z)
• The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models [25.91253902620787]
  MIXGUARDは、大規模言語モデルのためのプライバシー保護のための分割学習フレームワークである。 トークンレベルの難読化、表現レベルの難読化、適応的な勾配化機構は、有用な学習信号を保持するために共同で動作する。 我々は,複数のLLMファミリ,モデルサイズ,アーキテクチャ,微調整戦略の4つの分類タスクと4つのテキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2026-06-15T14:42:06Z)
• A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations [21.18557996034125]
  ファインチューニングは、特定のアプリケーションのために大きな言語モデル(LLM)をアンロックするが、その高い計算コストは、リソースに制約のある組織には届かないことが多い。 有望な解決策は、クライアントとサーバ間でモデルを分割するLDM微調整のための分割学習である。 本稿では,LLMファインチューニングのための分割学習に関する最初の広範な調査について述べる。
  論文  参考訳（メタデータ） (2026-04-27T13:36:54Z)
• Social Hippocampus Memory Learning [54.381608978482184]
  SoHipはメモリ中心のソーシャル機械学習フレームワークだ。 モデル共有ではなく、メモリ共有を通じて異種エージェント間の協調を可能にする。 7つのベースラインを持つ2つのベンチマークデータセットの実験は、SoHipが既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-26T16:31:00Z)
• A Step Toward Federated Pretraining of Multimodal Large Language Models [87.64508862413565]
  Federated Learningは、分散リソースをアンロックするための有望なソリューションを提供する。 Fed-MAは、視覚エンコーダとLLMを凍結し、クロスモーダルプロジェクタを協調的にトレーニングする軽量な事前トレーニングパラダイムである。 MLLM事前学習のための先駆的フレームワークであるFed-CMPを提案する。
  論文  参考訳（メタデータ） (2026-03-25T08:16:23Z)
• MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models [6.372179935695467]
  大規模なMixture-of-Experts(MoE)モデルのトレーニングには、高メモリで高帯域幅のGPU(例:A100)が必要である。 MoE-DisCoは、MoEモデルを複数の密集したサブモデルに分解し、それぞれが共有バックボーンと単一のエキスパートで構成され、トレーニングデータを教師なしクラスタリングを使用してサブセットに分割する。
  論文  参考訳（メタデータ） (2026-01-11T10:59:15Z)
• Can Federated Learning Safeguard Private Data in LLM Training? Vulnerabilities, Attacks, and Defense Evaluation [20.37072541084284]
  フェデレートラーニング(FL)により、クライアントは、コラボレーティブトレーニングのためのモデルパラメータのみを共有しながら、ローカルデータを保持できる。 攻撃者は、簡単な生成方法を用いても、グローバルモデルからトレーニングデータを抽出できることを示す。 FLに合わせた攻撃戦略を導入し、トレーニング中にグローバルモデルのアップデートを追跡し、プライバシーの漏洩を強化する。
  論文  参考訳（メタデータ） (2025-09-25T02:28:08Z)
• Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models [32.059157903736754]
  大規模言語モデル(LLM)は、フェデレートラーニング(FL)を活用して、プライベートなタスク固有のデータセットを微調整に利用している。 Oblivionisは、クライアントが特定のプライベートデータを選択的に削除できる軽量学習およびアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-08-12T12:02:53Z)
• A Federated Splitting Framework for LLMs: Security, Efficiency, and Adaptability [15.194518946737801]
  FL-LLaMAはLLaMA2をベースとしたセキュアで効率的で適応的なフェデレーション分割フレームワークである。 我々は、並列トレーニングを実現するためにクライアントバッチとサーバ階層戦略、そして推論を高速化するために注目マスク圧縮とKVキャッシュ機構を採用する。 NLU、要約、会話型QAタスクの実験では、FL-LLaMAは集中型LLaMA2に匹敵する性能を維持し、最大2倍の列車スピードアップと8倍の推論スピードアップを実現している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。 コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。 我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:20:59Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Scalable Multi-Agent Reinforcement Learning for Residential Load Scheduling under Data Governance [5.37556626581816]
  マルチエージェント強化学習 (MARL) は, 協調型住宅負荷スケジューリング問題において, 顕著な進歩を遂げている。 MARLの最も一般的なパラダイムである集中型トレーニングは、通信制約のあるクラウドエッジ環境における大規模デプロイメントを制限する。 提案手法は,家庭の局所的な観察のみに基づく個人評論家の学習機能である,アクタ批判的手法に基づく。
  論文  参考訳（メタデータ） (2021-10-06T14:05:26Z)
• A Scalable Approach for Privacy-Preserving Collaborative Machine Learning [2.578242050187029]
  COPMLは、スケーラビリティとプライバシ保護を同時に実現する、完全に分散化されたトレーニングフレームワークである。 我々はCOPMLのプライバシー分析を行い、その収束性を証明する。 我々は,COPMLがベンチマークプロトコル上でのトレーニングにおいて,大幅な高速化を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2020-11-03T19:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。