論文の概要: FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

• arxiv url: http://arxiv.org/abs/2503.07216v2
• Date: Tue, 11 Mar 2025 12:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 12:20:13.459994
• Title: FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates
• Title（参考訳）: FedRand: ランダム化したLoRAサブパラメータ更新によるフェデレーション学習のプライバシ向上
• Authors: Sangwoo Park, Seanie Lee, Byungjoo Kim, Sung Ju Hwang,
• Abstract要約: フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
• 参考スコア（独自算出の注目度）: 58.18162789618869
• License:
• Abstract: Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client's private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.
• Abstract（参考訳）: フェデレートラーニング(FL)は、中央サーバがローカルクライアントからのデータに直接アクセスしないことを保証するために、分散的な方法でモデルをトレーニングするための広く使われているフレームワークである。 しかし、このアプローチは、アグリゲーションプロセス中にローカルクライアントのモデルが中央サーバに公開されるため、データのプライバシを完全に保存できない可能性がある。 FLで視覚言語モデル(VLM)をトレーニングする場合、VLMはトレーニングデータインスタンスを記憶しやすく、メンバシップ推論攻撃(MIA)に対して脆弱になるため、この問題はさらに重要になる。 この課題に対処するため、私たちはFedRandフレームワークを提案します。 このフレームワークでは、各クライアントがサーバからLoRA(Lo-Rank Adaptation)のサブパラメータをランダムに選択し、残りのLoRA重みをプライベートパラメータとして保持する。 クライアントのプライベートデータセットで両方のパラメータをトレーニングした後、アグリゲーションのためにサーバに送信されるのはプライベートでないクライアントパラメータのみである。 このアプローチは、クライアント側のVLMパラメータを公開するリスクを軽減し、データのプライバシを高める。 我々は、FedRandが関連するベースラインと比較してMIAに対する堅牢性を向上し、複数のベンチマークデータセット間で完全なLoRAパラメータを通信するメソッドに匹敵する精度を達成することを実証的に検証した。

関連論文リスト

• Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
  機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。 最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。 本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T18:08:24Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• FedPerm: Private and Robust Federated Learning by Parameter Permutation [2.406359246841227]
  Federated Learning(FL)は、相互に信頼できないクライアントが共通の機械学習モデルを共同でトレーニングできるようにする分散学習パラダイムである。 クライアントデータのプライバシはFLで最重要である。同時に、モデルが敵のクライアントからの攻撃から保護されなければならない。 我々は、データプライバシを増幅する新しいモデル内パラメータシャッフル技術と、クライアントのモデル更新の暗号化集約を可能にするPrivate Information Retrieval(PIR)ベースの技術を組み合わせることで、これらの問題に対処する新しいFLアルゴリズムであるFedPermを提案する。
  論文  参考訳（メタデータ） (2022-08-16T19:40:28Z)
• A New Implementation of Federated Learning for Privacy and Security Enhancement [27.612480082254486]
  フェデレーテッド・ラーニング(FL)は、新しい機械学習・セッティングとして登場した。 ローカルデータを共有する必要はなく、プライバシを十分に保護することができる。 本稿では,ビザンチン攻撃に対するモデル更新に基づくフェデレーション平均化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-03T03:13:19Z)
• Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
  悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。 FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。 本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
  論文  参考訳（メタデータ） (2022-05-22T15:13:23Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。