論文の概要: PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts

• arxiv url: http://arxiv.org/abs/2505.08719v1
• Date: Tue, 13 May 2025 16:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.670575
• Title: PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts
• Title（参考訳）: PWC-MoE: 専門家のプライバシーに配慮したワイヤレスコラボレーション
• Authors: Yang Su, Na Yan, Yansha Deng, Robert Schober,
• Abstract要約: クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.5243730853157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) hosted on cloud servers alleviate the computational and storage burdens on local devices but raise privacy concerns due to sensitive data transmission and require substantial communication bandwidth, which is challenging in constrained environments. In contrast, small language models (SLMs) running locally enhance privacy but suffer from limited performance on complex tasks. To balance computational cost, performance, and privacy protection under bandwidth constraints, we propose a privacy-aware wireless collaborative mixture of experts (PWC-MoE) framework. Specifically, PWC-MoE employs a sparse privacy-aware gating network to dynamically route sensitive tokens to privacy experts located on local clients, while non-sensitive tokens are routed to non-privacy experts located at the remote base station. To achieve computational efficiency, the gating network ensures that each token is dynamically routed to and processed by only one expert. To enhance scalability and prevent overloading of specific experts, we introduce a group-wise load-balancing mechanism for the gating network that evenly distributes sensitive tokens among privacy experts and non-sensitive tokens among non-privacy experts. To adapt to bandwidth constraints while preserving model performance, we propose a bandwidth-adaptive and importance-aware token offloading scheme. This scheme incorporates an importance predictor to evaluate the importance scores of non-sensitive tokens, prioritizing the most important tokens for transmission to the base station based on their predicted importance and the available bandwidth. Experiments demonstrate that the PWC-MoE framework effectively preserves privacy and maintains high performance even in bandwidth-constrained environments, offering a practical solution for deploying LLMs in privacy-sensitive and bandwidth-limited scenarios.
• Abstract（参考訳）: クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイスにおける計算とストレージの負担を軽減するが、機密データ送信によるプライバシの懸念が高まり、制約のある環境では困難な通信帯域幅を必要とする。 対照的に、ローカルで実行される小さな言語モデル(SLM)はプライバシーを向上するが、複雑なタスクでは限られたパフォーマンスに悩まされる。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるため,PWC-MoE(PWC-MoE)フレームワークを提案する。 具体的には、PWC-MoEは、機密トークンをローカルクライアントのプライバシー専門家に動的にルーティングするために、疎いプライバシを意識したゲーティングネットワークを使用している。 計算効率を達成するために、ゲーティングネットワークは、各トークンが1人の専門家によって動的にルーティングされ、処理されることを保証する。 スケーラビリティを向上し,特定の専門家の過負荷を防止するため,プライバシの専門家と非プライバシ専門家の間でセンシティブトークンと非機密トークンを均等に分配する,ゲーティングネットワークのためのグループワイドロードバランシング機構を導入する。 モデル性能を保ちながら帯域幅制約に適応するため,帯域幅適応性と重要度を考慮したトークンオフロード方式を提案する。 このスキームは、非感度トークンの重要度を評価するために重要な予測器を組み込み、予測された重要度と利用可能な帯域幅に基づいて基地局に送信するための最も重要なトークンを優先順位付けする。 実験により、PWC-MoEフレームワークは、プライバシーを効果的に保護し、帯域制限のある環境でも高い性能を維持し、プライバシーに敏感かつ帯域制限のあるシナリオにLCMをデプロイするための実用的なソリューションを提供することが示された。

関連論文リスト

• Providing Differential Privacy for Federated Learning Over Wireless: A Cross-layer Framework [19.381425127772054]
  Federated Learning(FL)は、エッジデバイスがローカルなトレーニングデータを維持することができる分散機械学習フレームワークである。 本稿では,分散化された動的電力制御により差分プライバシ(DP)を改善するOTA-FLの無線物理層(PHY)設計を提案する。 この適応は、異なる学習アルゴリズム間で設計の柔軟性と有効性を示しながら、プライバシに強く重点を置いています。
  論文  参考訳（メタデータ） (2024-12-05T18:27:09Z)
• Collaborative Inference over Wireless Channels with Feature Differential Privacy [57.68286389879283]
  複数の無線エッジデバイス間の協調推論は、人工知能(AI)アプリケーションを大幅に強化する可能性がある。 抽出された特徴を抽出することは、プロセス中に機密性の高い個人情報が暴露されるため、重大なプライバシーリスクをもたらす。 本稿では,ネットワーク内の各エッジデバイスが抽出された機能のプライバシを保護し,それらを中央サーバに送信して推論を行う,新たなプライバシ保存協調推論機構を提案する。
  論文  参考訳（メタデータ） (2024-10-25T18:11:02Z)
• Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
  ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。 本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:39:55Z)
• Federated Instruction Tuning of LLMs with Domain Coverage Augmentation [87.49293964617128]
  Federated Domain-specific Instruction Tuning (FedDIT)は、限られたクロスクライアントなプライベートデータと、命令拡張のさまざまな戦略を利用する。 我々は,欲求のあるクライアントセンターの選択と検索に基づく拡張を通じて,ドメインカバレッジを最適化するFedDCAを提案する。 クライアント側の計算効率とシステムのスケーラビリティのために、FedDCAの変種であるFedDCA$*$はサーバ側の特徴アライメントを備えた異種エンコーダを利用する。
  論文  参考訳（メタデータ） (2024-09-30T09:34:31Z)
• Confidential Federated Computations [16.415880530250092]
  Federated Learning and Analytics (FLA)は、デバイス上の機密データを処理するためのテクノロジプラットフォームによって広く採用されている。 FLAシステムは必ずしも差分プライバシー(DP)のような匿名化機構を必要としない 本稿では,サーバサイドの計算の秘密性を確保するために,TEEとオープンソースを活用した新しいシステムアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:47:27Z)
• Libertas: Privacy-Preserving Collective Computation for Decentralised Personal Data Stores [18.91869691495181]
  モジュールアーキテクチャであるLibertasを導入し、MPCとSolidのようなPSDを統合する。 我々は、全知的な視点から、個人ベースの、ユーザ中心の信頼とセキュリティへのパラダイムシフトを紹介します。
  論文  参考訳（メタデータ） (2023-09-28T12:07:40Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)
• Federated Intrusion Detection for IoT with Heterogeneous Cohort Privacy [0.0]
  IoT(Internet of Things)デバイスはますます普及し、医療や輸送といった多くのアプリケーションドメインに影響を与える。 本研究では,このようなIoTデバイスのネットワーク上での侵入攻撃を検出するために,差分プライベート(DP)ニューラルネットワーク(NN)ベースのネットワーク侵入検出システム(NIDS)を検討する。 このドメインの既存のNNトレーニングソリューションは、プライバシの考慮を無視したり、すべてのユーザのプライバシー要件が均一であると仮定する。 クライアントのプライバシ要件が不均一である場合,非IDデータ分布を持つクライアントに対して,既存の差分プライベートメソッドの性能が低下することを示す。
  論文  参考訳（メタデータ） (2021-01-25T03:33:27Z)
• CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
  総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。 CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
  論文  参考訳（メタデータ） (2020-02-03T14:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。