論文の概要: PRISM: Privacy-Preserving Improved Stochastic Masking for Federated Generative Models

• arxiv url: http://arxiv.org/abs/2503.08085v3
• Date: Mon, 24 Mar 2025 16:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:24.323258
• Title: PRISM: Privacy-Preserving Improved Stochastic Masking for Federated Generative Models
• Title（参考訳）: PRISM:フェデレーションモデルのためのプライバシ保護による確率的マスキングの改善
• Authors: Kyeongkook Seo, Dong-Jun Han, Jaejun Yoo,
• Abstract要約: PRISMは、異種データ分散における安定した性能を保証する生成モデルに適したフレームワークである。 ポーラス化特性により、PRISMは余分なプルーニングや量子化なしに軽量なモデルが得られる。 PRISMは、非IIDおよびプライバシ保護FL環境下で画像の生成に成功した最初の企業である。
• 参考スコア（独自算出の注目度）: 15.075627197935725
• License:
• Abstract: Despite recent advancements in federated learning (FL), the integration of generative models into FL has been limited due to challenges such as high communication costs and unstable training in heterogeneous data environments. To address these issues, we propose PRISM, a FL framework tailored for generative models that ensures (i) stable performance in heterogeneous data distributions and (ii) resource efficiency in terms of communication cost and final model size. The key of our method is to search for an optimal stochastic binary mask for a random network rather than updating the model weights, identifying a sparse subnetwork with high generative performance; i.e., a ``strong lottery ticket''. By communicating binary masks in a stochastic manner, PRISM minimizes communication overhead. This approach, combined with the utilization of maximum mean discrepancy (MMD) loss and a mask-aware dynamic moving average aggregation method (MADA) on the server side, facilitates stable and strong generative capabilities by mitigating local divergence in FL scenarios. Moreover, thanks to its sparsifying characteristic, PRISM yields a lightweight model without extra pruning or quantization, making it ideal for environments such as edge devices. Experiments on MNIST, FMNIST, CelebA, and CIFAR10 demonstrate that PRISM outperforms existing methods, while maintaining privacy with minimal communication costs. PRISM is the first to successfully generate images under challenging non-IID and privacy-preserving FL environments on complex datasets, where previous methods have struggled.
• Abstract（参考訳）: 近年のフェデレートラーニング(FL)の進歩にもかかわらず、多種データ環境における高い通信コストや不安定なトレーニングといった課題により、生成モデルのFLへの統合は制限されている。 これらの問題に対処するために、生成モデルに適したFLフレームワークであるPRISMを提案する。 一 不均質なデータ分布及び安定な性能 (II)通信コストと最終モデルサイズの観点からの資源効率。 提案手法の鍵となるのは,モデル重みを更新するよりも,ランダムネットワークに最適な確率的二乗マスクを探索し,高生成性能のスパースサブネットワーク,すなわち 'strong lottery ticket'' を同定することである。 バイナリマスクを確率的に通信することで、PRISMは通信オーバーヘッドを最小限にする。 本手法は,サーバ側における最大平均誤差損失(MMD)とマスク対応動的移動平均凝集法(MADA)の併用により,FLシナリオにおける局所的な分散を緩和し,安定かつ強力な生成機能を実現する。 さらに、PRISMはその拡張特性により、余分なプルーニングや量子化なしに軽量モデルが得られるため、エッジデバイスのような環境に最適である。 MNIST、FMNIST、CelebA、CIFAR10の実験では、PRISMは通信コストを最小限に抑えてプライバシーを維持しながら、既存の手法よりも優れていることを示した。 PRISMは、それまでの手法が苦労してきた複雑なデータセット上で、非IIDおよびプライバシ保護のFL環境下で、最初に画像を生成する。

関連論文リスト

• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems [11.639503711252663]
  Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。 本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。 本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
  論文  参考訳（メタデータ） (2023-12-06T20:29:23Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• One-shot Federated Learning without Server-side Training [42.59845771101823]
  クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。 既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。 本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
  論文  参考訳（メタデータ） (2022-04-26T01:45:37Z)
• Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning [4.710427287359642]
  Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合した、ディープラーニングのための分散モデルである。 FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。 本稿では,遺伝的クラスタ化FL(Genetic CFL)と呼ばれるハイブリッドアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-15T10:16:05Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。