論文の概要: A few-shot Label Unlearning in Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2410.10922v1
• Date: Mon, 14 Oct 2024 12:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:01.837585
• Title: A few-shot Label Unlearning in Vertical Federated Learning
• Title（参考訳）: 垂直的フェデレーション学習における数発のラベルアンラーニング
• Authors: Hanlin Gu, Hong Xi Tae, Chee Seng Chan, Lixin Fan,
• Abstract要約: 本稿では,垂直的フェデレート学習(VFL)におけるアンラーニングの課題について述べる。 本稿では,ラベルリークのリスクを軽減することを目的とした,VFLにおけるラベルアンラーニングに特化して設計された最初のアプローチを紹介する。 本手法では, ラベル付きデータの限られた量を活用し, 多様体ミックスアップを利用して, 不十分なデータの前方埋め込みを増強し, 拡張埋め込みに勾配を増し, モデルからラベル情報を消去する。
• 参考スコア（独自算出の注目度）: 16.800865928660954
• License:
• Abstract: This paper addresses the critical challenge of unlearning in Vertical Federated Learning (VFL), an area that has received limited attention compared to horizontal federated learning. We introduce the first approach specifically designed to tackle label unlearning in VFL, focusing on scenarios where the active party aims to mitigate the risk of label leakage. Our method leverages a limited amount of labeled data, utilizing manifold mixup to augment the forward embedding of insufficient data, followed by gradient ascent on the augmented embeddings to erase label information from the models. This combination of augmentation and gradient ascent enables high unlearning effectiveness while maintaining efficiency, completing the unlearning procedure within seconds. Extensive experiments conducted on diverse datasets, including MNIST, CIFAR10, CIFAR100, and ModelNet, validate the efficacy and scalability of our approach. This work represents a significant advancement in federated learning, addressing the unique challenges of unlearning in VFL while preserving both privacy and computational efficiency.
• Abstract（参考訳）: 本稿では,垂直的フェデレート学習(VFL)における非学習の重要な課題について述べる。 本稿では,ラベルリークのリスクを軽減することを目的とした,VFLにおけるラベルアンラーニングに特化して設計された最初のアプローチを紹介する。 本手法では, ラベル付きデータの限られた量を活用し, 多様体ミックスアップを利用して, 不十分なデータの前方埋め込みを増強し, 拡張埋め込みに勾配を増し, モデルからラベル情報を消去する。 この強化と勾配上昇の組み合わせは、効率を保ちながら学習効率を高くし、学習手続きを数秒で完了する。 MNIST, CIFAR10, CIFAR100, ModelNetなどの多種多様なデータセットで実施された大規模な実験により, 本手法の有効性とスケーラビリティが検証された。 この研究は、プライバシと計算効率の両方を保ちながら、VFLにおけるアンラーニングの独特な課題に対処する、連合学習の大幅な進歩を表している。

関連論文リスト

• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• Exploring Contrastive Learning for Long-Tailed Multi-Label Text Classification [48.81069245141415]
  マルチラベルテキスト分類のための新しいコントラスト損失関数を提案する。 マイクロF1スコアは、他の頻繁に採用される損失関数と一致するか、上回っている。 これは、3つのマルチラベルデータセットでMacro-F1スコアが大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-12T11:12:16Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Efficient Vertical Federated Learning with Secure Aggregation [10.295508659999783]
  本稿では,安全アグリゲーションのための最先端セキュリティモジュールを用いて,垂直FLを安全かつ効率的に訓練するための新しい設計を提案する。 我々は,同相暗号 (HE) と比較して9.1e2 3.8e4 の高速化を図りながら,本手法がトレーニング性能に影響を及ぼさないことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-05-18T18:08:36Z)
• Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
  我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。 まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。 トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-11-24T13:18:27Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。