論文の概要: Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation
- arxiv url: http://arxiv.org/abs/2410.06848v1
- Date: Wed, 9 Oct 2024 13:08:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 03:21:00.719882
- Title: Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation
- Title（参考訳）: トランスフォーメーションによるフォーミング:クラス認識表現変換によるフェデレーション・アンラーニングの実現
- Authors: Qi Guo, Zhen Tian, Minghao Yao, Yong Qi, Saiyu Qi, Yun Li, Jin Song Dong,
- Abstract要約: Federated Unlearning (FU)は、クライアントがトレーニングされた学習モデルから特定のデータの影響を選択的に除去することを可能にする。
既存のFU法は、有効消去とモデルユーティリティ保存のバランスをとるのに苦労することが多い。
クラス認識表現変換(FUCRT)によるフェデレーション・アンラーニングを提案する。
- 参考スコア（独自算出の注目度）: 19.540500273680117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Unlearning (FU) enables clients to selectively remove the influence of specific data from a trained federated learning model, addressing privacy concerns and regulatory requirements. However, existing FU methods often struggle to balance effective erasure with model utility preservation, especially for class-level unlearning in non-IID settings. We propose Federated Unlearning via Class-aware Representation Transformation (FUCRT), a novel method that achieves unlearning through class-aware representation transformation. FUCRT employs two key components: (1) a transformation class selection strategy to identify optimal forgetting directions, and (2) a transformation alignment technique using dual class-aware contrastive learning to ensure consistent transformations across clients. Extensive experiments on four datasets demonstrate FUCRT's superior performance in terms of erasure guarantee, model utility preservation, and efficiency. FUCRT achieves complete (100\%) erasure of unlearning classes while maintaining or improving performance on remaining classes, outperforming state-of-the-art baselines across both IID and Non-IID settings. Analysis of the representation space reveals FUCRT's ability to effectively merge unlearning class representations with the transformation class from remaining classes, closely mimicking the model retrained from scratch.
- Abstract（参考訳）: フェデレーション・アンラーニング(FU)は、クライアントがトレーニングされたフェデレーション・ラーニングモデルから特定のデータの影響を選択的に排除し、プライバシの懸念と規制要件に対処することを可能にする。
しかし、既存のFU法は、特に非IID環境でのクラスレベルのアンラーニングにおいて、有効消去とモデルユーティリティ保存のバランスをとるのに苦労することが多い。
本稿では,クラス認識表現変換による未学習を実現する新しい手法として,クラス認識表現変換(FUCRT)を用いたフェデレート・アンラーニングを提案する。
FUCRT は,(1) 最適忘れ方向を特定する変換クラス選択戦略,(2) クライアント間の一貫した変換を保証するために,二重クラス認識型コントラスト学習を用いた変換アライメント手法,の2つの重要な要素を取り入れている。
4つのデータセットに対する大規模な実験は、消去保証、モデルユーティリティ保存、効率の点で、FUCRTの優れたパフォーマンスを示している。
FUCRTは、未学習クラスの完全消去を達成し、残りのクラスのパフォーマンスを維持または改善し、IIDと非IID設定の両方で最先端のベースラインを上回ります。
表現空間の分析は、FUCRTが未学習のクラス表現と残りのクラスからの変換クラスを効果的にマージし、スクラッチから再学習されたモデルを忠実に模倣する能力を明らかにしている。
関連論文リスト
- Federated Learning for Face Recognition via Intra-subject Self-supervised Learning [3.9899461012388504]
対象を含まない顔認識モデルを学習するためのFedFS (Federated Learning for Personal Face Recognition via intra-ject Self-supervised Learning framework)を提案する。
FedFSは、ローカルモデルとグローバルモデルの集約された特徴を活用して、オフザシェルフモデルの表現に協力する2つの重要なコンポーネントから構成される。
我々は,DigiFace-1MおよびVGGFaceデータセットの総合的な実験を行い,従来の手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-23T08:43:42Z) - DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。
ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。
ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文 参考訳（メタデータ） (2024-05-22T15:52:52Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳（メタデータ） (2024-01-16T11:45:03Z) - Robust Feature Learning and Global Variance-Driven Classifier Alignment
for Long-Tail Class Incremental Learning [20.267257778779992]
本稿では,長期クラスインクリメンタルラーニングの強化を目的とした2段階フレームワークを提案する。
本研究は,ロングテールクラスインクリメンタルラーニングにおいて,テールクラスの表現不足がもたらす課題に対処する。
提案するフレームワークは,任意のクラスインクリメンタル学習メソッドをモジュールとしてシームレスに統合することができる。
論文 参考訳（メタデータ） (2023-11-02T13:28:53Z) - Transformer-CNN Cohort: Semi-supervised Semantic Segmentation by the
Best of Both Students [18.860732413631887]
本稿では、視覚変換器(ViT)と畳み込みニューラルネットワーク(CNN)に基づく2人の学生からなる、新しい半教師付き学習(SSL)手法を提案する。
提案手法は,非ラベルデータに対する擬似ラベルによる予測と異種特徴空間の多レベル整合正則化を,下位に組み込む。
我々はCityscapesとPascal VOC 2012データセットのTCCフレームワークを検証する。
論文 参考訳（メタデータ） (2022-09-06T02:11:08Z) - Adversarial Dual-Student with Differentiable Spatial Warping for
Semi-Supervised Semantic Segmentation [70.2166826794421]
本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。
また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。
我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
論文 参考訳（メタデータ） (2022-03-05T17:36:17Z) - A Generic Self-Supervised Framework of Learning Invariant Discriminative
Features [9.614694312155798]
本稿では,制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。
提案手法は,AE構造に基づく最先端の表現学習手法よりも優れている。
論文 参考訳（メタデータ） (2022-02-14T18:09:43Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。