論文の概要: Unlearning Clients, Features and Samples in Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2501.13683v1
• Date: Thu, 23 Jan 2025 14:10:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:01.006723
• Title: Unlearning Clients, Features and Samples in Vertical Federated Learning
• Title（参考訳）: 垂直的フェデレーション学習における未学習のクライアント, 特徴, サンプル
• Authors: Ayush K. Varshney, Konstantinos Vandikas, Vicenç Torra,
• Abstract要約: 垂直学習(VFL)は研究コミュニティからはあまり注目されていない。 本稿では,未学習クライアント,未学習機能,未学習サンプルの3つの視点から,VFLにおける未学習について検討する。 知識蒸留(KD)をベースとしたVFU-KDを未学習のサンプルとして導入するため,勾配上昇に基づくVFU-GAを導入する。
• 参考スコア（独自算出の注目度）: 1.6124402884077915
• License:
• Abstract: Federated Learning (FL) has emerged as a prominent distributed learning paradigm. Within the scope of privacy preservation, information privacy regulations such as GDPR entitle users to request the removal (or unlearning) of their contribution from a service that is hosting the model. For this purpose, a server hosting an ML model must be able to unlearn certain information in cases such as copyright infringement or security issues that can make the model vulnerable or impact the performance of a service based on that model. While most unlearning approaches in FL focus on Horizontal FL (HFL), where clients share the feature space and the global model, Vertical FL (VFL) has received less attention from the research community. VFL involves clients (passive parties) sharing the sample space among them while not having access to the labels. In this paper, we explore unlearning in VFL from three perspectives: unlearning clients, unlearning features, and unlearning samples. To unlearn clients and features we introduce VFU-KD which is based on knowledge distillation (KD) while to unlearn samples, VFU-GA is introduced which is based on gradient ascent. To provide evidence of approximate unlearning, we utilize Membership Inference Attack (MIA) to audit the effectiveness of our unlearning approach. Our experiments across six tabular datasets and two image datasets demonstrate that VFU-KD and VFU-GA achieve performance comparable to or better than both retraining from scratch and the benchmark R2S method in many cases, with improvements of $(0-2\%)$. In the remaining cases, utility scores remain comparable, with a modest utility loss ranging from $1-5\%$. Unlike existing methods, VFU-KD and VFU-GA require no communication between active and passive parties during unlearning. However, they do require the active party to store the previously communicated embeddings.
• Abstract（参考訳）: フェデレートラーニング(FL)は、著名な分散ラーニングパラダイムとして登場した。 プライバシ保護の範囲内では、GDPRのような情報プライバシー規制は、モデルをホストしているサービスから、ユーザのコントリビューションの削除(あるいは未学習)を要求する権限をユーザに与える。 この目的のために、MLモデルをホストするサーバは、著作権侵害やセキュリティ問題など、モデルが脆弱になったり、そのモデルに基づいたサービスのパフォーマンスに影響を及ぼすような場合に、特定の情報を解放できなければならない。 FLにおける未学習のアプローチのほとんどは、クライアントが特徴空間とグローバルモデルを共有する水平FL(HFL)に焦点を当てているが、Vertical FL(VFL)は研究コミュニティからあまり注目されていない。 VFLでは、クライアント(パッシブパーティ)が、ラベルにアクセスできない状態でサンプルスペースを共有する。 本稿では,未学習クライアント,未学習機能,未学習サンプルの3つの視点から,VFLにおける未学習について検討する。 知識蒸留(KD)をベースとしたVFU-KDを未学習のサンプルとして導入するため,勾配上昇に基づくVFU-GAを導入する。 近似的アンラーニングの証拠として,メンバーシップ・推論・アタック(MIA)を用いて,我々のアンラーニング・アプローチの有効性を評価する。 VFU-KDとVFU-GAは、スクラッチからのトレーニングとベンチマークR2S法の両方に匹敵する性能を示し、多くの場合、$(0-2\%)$である。 残りのケースでは、ユーティリティスコアは同等であり、最低限のユーティリティ損失は$1-5\%である。 既存の方法とは異なり、VFU-KDとVFU-GAは、未学習時にアクティブパーティとパッシブパーティ間の通信を必要としない。 しかし、それらは以前に通信された埋め込みを保存するためにアクティブなパーティを必要とします。

関連論文リスト

• De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
  この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。 De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。 その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
  論文  参考訳（メタデータ） (2024-10-08T15:31:10Z)
• Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data [8.759583928626702]
  本稿では,故障を伴うトレーニングを行うためのデカップリング型VFL(DVFL)を提案する。 DVFLは、ローカルな教師なしの目的を用いて、コミュニケーションラウンド間のトレーニングを分離する。 二次的な利点として、DVFLはデータの効率を高め、勾配ベースの攻撃に対する免疫を提供する。
  論文  参考訳（メタデータ） (2024-03-06T17:23:28Z)
• BadVFL: Backdoor Attacks in Vertical Federated Learning [22.71527711053385]
  フェデレートラーニング(FL)は、複数のパーティがデータを共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 本稿では,VFLのロバスト性,特にバックドアアタックに焦点をあてる。 VFLでは,ラベル推論とバックドアフェーズという2つのフェーズからなる第1種クリーンラベルバックドアアタックが提案されている。
  論文  参考訳（メタデータ） (2023-04-18T09:22:32Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• FairVFL: A Fair Vertical Federated Learning Framework with Contrastive Adversarial Learning [102.92349569788028]
  本稿では,VFLモデルの公平性を改善するために,FairVFL( Fair vertical federated learning framework)を提案する。 FairVFLの中核となる考え方は、分散化された機能フィールドに基づいたサンプルの統一的で公正な表現を、プライバシ保護の方法で学習することである。 ユーザのプライバシ保護のために,サーバ内の統一表現からプライベート情報を除去する対向学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-07T11:43:32Z)
• VeriFi: Towards Verifiable Federated Unlearning [59.169431326438676]
  フェデレートラーニング(FL)は、参加者がプライベートデータを共有せずに強力なモデルを共同でトレーニングする、協調学習パラダイムである。 参加者を去るには、グローバルモデルからプライベートデータを削除するよう要求する権利がある。 フェデレートされた未学習と検証を統合した統合フレームワークであるVeriFiを提案する。
  論文  参考訳（メタデータ） (2022-05-25T12:20:02Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
  我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。 分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。 これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-20T10:46:58Z)
• Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
  フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。 敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。 既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。 本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T15:52:33Z)
• A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
  フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。 Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。 本稿では,FL に対応する SV の変種を提案する。
  論文  参考訳（メタデータ） (2020-09-14T04:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。