論文の概要: Split Unlearning

• arxiv url: http://arxiv.org/abs/2308.10422v5
• Date: Wed, 02 Apr 2025 13:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:32:13.748324
• Title: Split Unlearning
• Title（参考訳）: スプリットアンラーニング
• Authors: Guangsheng Yu, Yanna Jiang, Qin Wang, Xu Wang, Baihe Ma, Caijun Sun, Wei Ni, Ren Ping Liu,
• Abstract要約: Split Unlearning(スプリット・アンラーニング)は、スプリット・ラーニング(SL)用に設計された新しい機械アンラーニング技術である。 本研究では,クライアントとサーバ間の信号伝達を分離するワンウェイ・ワン・オフ・プロパゲーション方式のSplitWiperを提案する。 スプリットワイパーは未学習のラベルに対して0%の精度を達成し、保持ラベルについてはSLにおける非SISA未学習よりも8%の精度を達成できた。
• 参考スコア（独自算出の注目度）: 23.380995944550484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Split Unlearning, a novel machine unlearning technology designed for Split Learning (SL), enabling the first-ever implementation of Sharded, Isolated, Sliced, and Aggregated (SISA) unlearning in SL frameworks. Particularly, the tight coupling between clients and the server in existing SL frameworks results in frequent bidirectional data flows and iterative training across all clients, violating the "Isolated" principle and making them struggle to implement SISA for independent and efficient unlearning. To address this, we propose SplitWiper with a new one-way-one-off propagation scheme, which leverages the inherently "Sharded" structure of SL and decouples neural signal propagation between clients and the server, enabling effective SISA unlearning even in scenarios with absent clients. We further design SplitWiper+ to enhance client label privacy, which integrates differential privacy and label expansion strategy to defend the privacy of client labels against the server and other potential adversaries. Experiments across diverse data distributions and tasks demonstrate that SplitWiper achieves 0% accuracy for unlearned labels, and 8% better accuracy for retained labels than non-SISA unlearning in SL. Moreover, the one-way-one-off propagation maintains constant overhead, reducing computational and communication costs by 99%. SplitWiper+ preserves 90% of label privacy when sharing masked labels with the server.
• Abstract（参考訳）: Sharded, Isolated, Sliced, and Aggregated (SISA) unlearning in SL framework。 特に、既存のSLフレームワークにおけるクライアントとサーバの密結合は、頻繁に双方向のデータフローと、すべてのクライアント間で反復的なトレーニングをもたらし、"分離された"原則に違反し、独立的で効率的なアンラーニングのためにSISAを実装するのに苦労する。 そこで本研究では,SLの「シャード」構造を利用して,クライアントとサーバ間の信号伝達を分離し,不在なクライアントのシナリオにおいても効果的なSISAアンラーニングを可能にする,新しいワンウェイ・ワン・オフ・プロパゲーション方式を提案する。 我々はさらにSplitWiper+を設計し、クライアントラベルのプライバシを強化し、クライアントラベルのプライバシをサーバや他の潜在的な敵に対して保護するための差分プライバシとラベル拡張戦略を統合する。 多様なデータ分散とタスクにわたる実験により、SplitWiperは未学習ラベルの0%の精度、保持ラベルの8%の精度を実現している。 さらに、ワンウェイ・ワン・オフ伝搬は一定のオーバーヘッドを維持し、計算コストと通信コストを99%削減する。 SplitWiper+は、マスク付きラベルをサーバと共有する際に、90%のラベルプライバシを保持する。

関連論文リスト

• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• CURE: Privacy-Preserving Split Learning Done Right [1.388112207221632]
  このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。 CUREは、モデルとデータのサーバ側のみを暗号化する新しいシステムである。 CUREは、実行時の16倍の効率で、平文SLと同等の精度を実現できることを示す。
  論文  参考訳（メタデータ） (2024-07-12T04:10:19Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Make Split, not Hijack: Preventing Feature-Space Hijacking Attacks in Split Learning [1.6822770693792823]
  クライアントデータのプライバシを確保するために,Split Learning(SL)とFunction Secret Sharing(FSS)を組み合わせたハイブリッドアプローチを導入する。 我々のプロトコルは有望な結果をもたらし、SLを使わずに通信オーバヘッドを2倍以上削減し、FSSと同じモデルと比較して訓練時間を7倍以上削減する。
  論文  参考訳（メタデータ） (2024-04-14T14:14:31Z)
• Split Without a Leak: Reducing Privacy Leakage in Split Learning [3.2066885499201176]
  スプリットラーニング(SL)とホモモルフィック暗号化(HE)を用いたハイブリッド手法を提案する。 MIT-BIH データセットでは,SL と HE を用いたハイブリッド手法により,訓練時間(約6倍)が短縮され,通信オーバーヘッド(ほぼ160倍)が他の HE ベースの手法に比べて大幅に低減される。
  論文  参考訳（メタデータ） (2023-08-30T06:28:42Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• SplitOut: Out-of-the-Box Training-Hijacking Detection in Split Learning via Outlier Detection [0.0]
  分割学習は、ニューラルネットワークを分割して、クライアント(データ保持者)が最初のレイヤを計算し、中間出力を中央の計算量の多いサーバと共有するようにすることで、ディープニューラルネットワークの効率的でプライバシーに配慮したトレーニングを可能にする。 サーバはすでにクライアントのプライベートデータを推測し、クライアントモデルにバックドアを実装するために利用されています。 そこで本研究では,クライアントの計算能力に関する微妙な仮定を前提として,ほぼゼロの偽陽性率で既存のトレーニング・ハイジャック攻撃を検知するアウト・オブ・ボックス検出手法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T23:02:39Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Federated Learning with Taskonomy for Non-IID Data [0.0]
  タスクノミーによる連合学習を導入する。 ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。 サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
  論文  参考訳（メタデータ） (2021-03-29T20:47:45Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。