論文の概要: Split Unlearning

• arxiv url: http://arxiv.org/abs/2308.10422v3
• Date: Fri, 30 Aug 2024 08:46:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:41:13.170567
• Title: Split Unlearning
• Title（参考訳）: スプリットアンラーニング
• Authors: Guangsheng Yu, Yanna Jiang, Qin Wang, Xu Wang, Baihe Ma, Caijun Sun, Wei Ni, Ren Ping Liu,
• Abstract要約: スプリット学習(SL)におけるSISAベースの機械アンラーニング(SP'21)の実現により、実用的なスプリット・アンラーニング・フレームワークを提案し、実装し、評価する。 既存のSLメソッドがSISAの"Isolated"原則を損なう問題に対処するため、SLの固有の"Sharded"構造を利用するSplitWiperとSplitWiper+を導入する。 我々の設計では、クライアントとサーバ間のニューラルネットワークの伝搬を分離し、SplitWiperにおけるSISAベースのアンラーニングを可能にする。
• 参考スコア（独自算出の注目度）: 23.380995944550484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We for the first time propose, implement, and evaluate a practical Split Unlearning framework by enabling SISA-based machine unlearning (SP'21) in Split Learning (SL). We introduce SplitWiper and SplitWiper+, which leverage the inherent "Sharded" structure of SL and address the issues where existing SL methods compromise the "Isolated" principle of SISA due to the tight coupling between clients and the server. This coupling involves frequent bidirectional data flows and iterative training across all clients. We resolve these challenges by designing a new one-way-one-off propagation scheme. Our design decouples the propagation of neural signals between clients and between clients and the server, enabling SISA-based unlearning in SplitWiper, even with absent clients. SplitWiper+ further enhances client label privacy against the server under this scheme by using differential privacy. Our extensive experiments across diverse data distributions and tasks demonstrate that SplitWiper, which involves only the requesting clients, achieves 0% unlearning accuracy and is over 108% more effective in retaining accuracy than existing SL methods, while maintaining constant overhead through its one-way-one-off propagation, reducing computational and communication costs by over 99%. SplitWiper+ preserves over 90% of label privacy when sharing masked labels with servers.
• Abstract（参考訳）: 我々は,SISAベースの機械アンラーニング(SP'21)をSL(Split Learning)で実現し,実践的なスプリット・アンラーニング・フレームワークの提案,実装,評価を行った。 SplitWiper と SplitWiper+ を導入し,既存の SL メソッドがクライアントとサーバ間の密結合のため,SISA の "Isolated" 原則を侵害する問題に対処する。 この結合には、頻繁な双方向データフローと、すべてのクライアントに対する反復的なトレーニングが含まれる。 我々は、新しいワンウェイ・ワン・オフ・プロパゲーション・スキームを設計することで、これらの課題を解決する。 我々の設計では、クライアントとサーバ間のニューラルネットワークの伝搬を分離し、SplitWiperにおけるSISAベースのアンラーニングを可能にする。 SplitWiper+は、このスキームの下でクライアントラベルのプライバシーをさらに強化する。 多様なデータ分散とタスクにわたる広範な実験により、クライアントのみを対象とするSplitWiperは、0%の未学習精度を実現し、既存のSL法よりも108%以上の効率で精度を維持しつつ、一方のワンオフ伝搬によるオーバーヘッドを一定に保ち、計算と通信のコストを99%以上削減できることを示した。 SplitWiper+は、マスク付きラベルをサーバーと共有する際に、ラベルのプライバシーの90%以上を保護している。

関連論文リスト

• CURE: Privacy-Preserving Split Learning Done Right [1.388112207221632]
  このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。 CUREは、モデルとデータのサーバ側のみを暗号化する新しいシステムである。 CUREは、実行時の16倍の効率で、平文SLと同等の精度を実現できることを示す。
  論文  参考訳（メタデータ） (2024-07-12T04:10:19Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• SplitOut: Out-of-the-Box Training-Hijacking Detection in Split Learning via Outlier Detection [0.0]
  分割学習は、ニューラルネットワークを分割して、クライアント(データ保持者)が最初のレイヤを計算し、中間出力を中央の計算量の多いサーバと共有するようにすることで、ディープニューラルネットワークの効率的でプライバシーに配慮したトレーニングを可能にする。 サーバはすでにクライアントのプライベートデータを推測し、クライアントモデルにバックドアを実装するために利用されています。 そこで本研究では,クライアントの計算能力に関する微妙な仮定を前提として,ほぼゼロの偽陽性率で既存のトレーニング・ハイジャック攻撃を検知するアウト・オブ・ボックス検出手法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T23:02:39Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Federated Learning with Taskonomy for Non-IID Data [0.0]
  タスクノミーによる連合学習を導入する。 ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。 サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
  論文  参考訳（メタデータ） (2021-03-29T20:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。