論文の概要: Federated Unlearning via Class-Discriminative Pruning

• arxiv url: http://arxiv.org/abs/2110.11794v1
• Date: Fri, 22 Oct 2021 14:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 19:20:36.244315
• Title: Federated Unlearning via Class-Discriminative Pruning
• Title（参考訳）: クラス識別によるフェデレーション・アンラーニング
• Authors: Junxiao Wang, Song Guo, Xin Xie, Heng Qi
• Abstract要約: 本稿では,特定のカテゴリに関する情報を除去する手法を提案する。 この方法は、スクラッチからの再トレーニングや、トレーニングに使用されるデータへのグローバルアクセスを必要としない。 チャネルプルーニングに続いて微調整処理を行い、プルーニングモデルの性能を回復する。
• 参考スコア（独自算出の注目度）: 16.657364988432317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the problem of selectively forgetting categories from trained CNN classification models in the federated learning (FL). Given that the data used for training cannot be accessed globally in FL, our insights probe deep into the internal influence of each channel. Through the visualization of feature maps activated by different channels, we observe that different channels have a varying contribution to different categories in image classification. Inspired by this, we propose a method for scrubbing the model clean of information about particular categories. The method does not require retraining from scratch, nor global access to the data used for training. Instead, we introduce the concept of Term Frequency Inverse Document Frequency (TF-IDF) to quantize the class discrimination of channels. Channels with high TF-IDF scores have more discrimination on the target categories and thus need to be pruned to unlearn. The channel pruning is followed by a fine-tuning process to recover the performance of the pruned model. Evaluated on CIFAR10 dataset, our method accelerates the speed of unlearning by 8.9x for the ResNet model, and 7.9x for the VGG model under no degradation in accuracy, compared to retraining from scratch. For CIFAR100 dataset, the speedups are 9.9x and 8.4x, respectively. We envision this work as a complementary block for FL towards compliance with legal and ethical criteria.
• Abstract（参考訳）: フェデレーション学習(fl)において,訓練されたcnn分類モデルからカテゴリを選択的に忘れる問題を検討する。 FLではトレーニングに使用されるデータがグローバルにアクセスできないため、我々の洞察は各チャネルの内部的影響を深く調査する。 異なるチャネルによって活性化される特徴写像の可視化を通して、異なるチャネルが画像分類における異なるカテゴリに様々な寄与があることを観察する。 そこで本研究では,特定のカテゴリ情報からモデルを抽出する手法を提案する。 このメソッドは、スクラッチからの再トレーニングや、トレーニングに使用するデータへのグローバルアクセスを必要としない。 代わりに、チャネルのクラス識別を定量化するために、TF-IDF(Term Frequency Inverse Document Frequency)の概念を導入する。 TF-IDFスコアの高いチャネルは、対象のカテゴリに対してより差別的であり、未学習にプルーニングする必要がある。 チャネルプルーニングは、プルーニングされたモデルのパフォーマンスを回復するための微調整プロセスが続く。 CIFAR10データセットを用いて評価した結果,ResNetモデルでは8.9倍,VGGモデルでは7.9倍の高速化を実現した。 CIFAR100データセットでは、スピードアップはそれぞれ9.9xと8.4xである。 この研究は、法的および倫理的基準の遵守に向けたflの補完的ブロックとして考えています。

関連論文リスト

• Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm [5.1246638322893245]
  深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。 我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
  論文  参考訳（メタデータ） (2023-12-19T23:48:43Z)
• No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
  ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。 本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。 ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
  論文  参考訳（メタデータ） (2023-02-02T06:41:02Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Carrying out CNN Channel Pruning in a White Box [121.97098626458886]
  私たちは白い箱でチャンネルプルーニングを行います。 異なるカテゴリーに対する各チャネルの寄与をモデル化するために,各チャネルに対するクラスワイズマスクを開発する。 CNNの解釈可能性理論がチャネルプルーニングを導くのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-04-24T04:59:03Z)
• Adaptive Class Suppression Loss for Long-Tail Object Detection [49.7273558444966]
  アダプティブクラス抑圧損失(ACSL:Adaptive Class Suppression Loss)を考案し,尾部カテゴリの検出性能を改善する。 当社のACSLはResNet50-FPNで5.18%と5.2%の改善を実現し,新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2021-04-02T05:12:31Z)
• CC-Loss: Channel Correlation Loss For Image Classification [35.43152123975516]
  チャネル相関損失(CC-Loss)は、クラスとチャネル間の特定の関係を制約することができる。 提案したCC-Lossでトレーニングされた2つの異なるバックボーンモデルは、3つの画像分類データセットにおける最先端の損失関数より優れている。
  論文  参考訳（メタデータ） (2020-10-12T05:59:06Z)
• Learning and Exploiting Interclass Visual Correlations for Medical Image Classification [30.88175218665726]
  本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。 ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。 相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
  論文  参考訳（メタデータ） (2020-07-13T13:31:38Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)
• The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification [67.79883226015824]
  きめ細かい画像分類を解く鍵は、微妙な視覚的特徴に対応する識別領域と局所領域を見つけることである。 本稿では,複雑なネットワーク設計や学習機構を必要とせずに,微妙な詳細を育むことができることを示す。 提案した損失関数は、相互チャネル損失(MC-Loss)と呼ばれ、2つのチャネル固有成分から構成される。
  論文  参考訳（メタデータ） (2020-02-11T09:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。