論文の概要: Revealing and Protecting Labels in Distributed Training

• arxiv url: http://arxiv.org/abs/2111.00556v1
• Date: Sun, 31 Oct 2021 17:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:30:56.105121
• Title: Revealing and Protecting Labels in Distributed Training
• Title（参考訳）: 分散トレーニングにおけるラベルの探索と保護
• Authors: Trung Dang, Om Thakkar, Swaroop Ramaswamy, Rajiv Mathews, Peter Chin, Fran\c{c}oise Beaufays
• Abstract要約: 本稿では,最終層の勾配とラベルマッピングへのIDのみから,トレーニングサンプルのラベル集合を発見する手法を提案する。 本稿では,画像分類と自動音声認識という2つの領域におけるモデル学習の有効性を示す。
• 参考スコア（独自算出の注目度）: 3.18475216176047
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Distributed learning paradigms such as federated learning often involve transmission of model updates, or gradients, over a network, thereby avoiding transmission of private data. However, it is possible for sensitive information about the training data to be revealed from such gradients. Prior works have demonstrated that labels can be revealed analytically from the last layer of certain models (e.g., ResNet), or they can be reconstructed jointly with model inputs by using Gradients Matching [Zhu et al'19] with additional knowledge about the current state of the model. In this work, we propose a method to discover the set of labels of training samples from only the gradient of the last layer and the id to label mapping. Our method is applicable to a wide variety of model architectures across multiple domains. We demonstrate the effectiveness of our method for model training in two domains - image classification, and automatic speech recognition. Furthermore, we show that existing reconstruction techniques improve their efficacy when used in conjunction with our method. Conversely, we demonstrate that gradient quantization and sparsification can significantly reduce the success of the attack.
• Abstract（参考訳）: 連合学習のような分散学習パラダイムは、しばしばネットワーク上のモデル更新や勾配の伝達を伴い、それによってプライベートデータの伝達を避ける。 しかし、これらの勾配からトレーニングデータに関するセンシティブな情報を明らかにすることが可能である。 先行研究は、ラベルが特定のモデルの最後の層(例えばResNet)から解析的に明らかにできること、あるいはモデルの現状に関する追加の知識をグラディエントマッチング(Zhu et al'19)を用いてモデル入力と共同で再構築できることを実証している。 本研究では,最終層の勾配とラベルマッピングへのidのみから,トレーニングサンプルのラベル集合を検出する手法を提案する。 本手法は複数のドメインにわたる多種多様なモデルアーキテクチャに適用できる。 本手法は,画像分類と自動音声認識の2つの領域におけるモデル学習の有効性を示す。 さらに,本手法と併用することにより,既存の再建手法の有効性が向上することを示す。 逆に,勾配量子化とスパーシフィケーションは攻撃の成功を著しく減少させることを実証する。

関連論文リスト

• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Probing the Purview of Neural Networks via Gradient Analysis [13.800680101300756]
  我々は、ニューラルネットワークのデータ依存能力を分析し、推論中のネットワークの観点から入力の異常を評価する。 ネットワークのパービューを探索するために、モデルに必要な変化量を測定するために勾配を利用して、与えられた入力をより正確に特徴付ける。 我々の勾配に基づくアプローチは、学習した特徴で正確に表現できない入力を効果的に区別できることを実証する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:05Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Gradient-Based Adversarial and Out-of-Distribution Detection [15.510581400494207]
  ニューラルネットワークの効率的な表現性を調べるために,勾配生成における共起ラベルを導入する。 我々の勾配に基づくアプローチは、モデルの効果的な表現率に基づいて入力の異常を捉えることができることを示す。
  論文  参考訳（メタデータ） (2022-06-16T15:50:41Z)
• A self-training framework for glaucoma grading in OCT B-scans [6.382852973055393]
  そこで本研究では,OCT B-Scansを用いた緑内障検診のための自己学習型フレームワークを提案する。 2段階の学習手法は、最初のステップで生成された擬似ラベルを利用して、ターゲットドメイン上のトレーニングデータセットを拡大する。 提案する新しい緑内障特異的バックボーンは,遅延空間の埋め込み特性を改良するために,スキップ接続による残像と注意点のモジュールを導入している。
  論文  参考訳（メタデータ） (2021-11-23T10:33:55Z)
• Understanding Training-Data Leakage from Gradients in Neural Networks for Image Classification [11.272188531829016]
  多くのアプリケーションでは、IPやプライバシの懸念からトレーニングデータが漏洩することを防ぐために、トレーニングデータを保護する必要があります。 近年の研究では、アーキテクチャが分かっていれば、画像分類モデルの勾配からトレーニングデータを再構築できることが示されている。 我々は各層に対して反復的に最適化問題を解くものとして、データ再構成のトレーニング問題を定式化する。 私たちは、ディープネットワーク内のトレーニングデータの潜在的漏洩を、そのアーキテクチャに関連付けることができます。
  論文  参考訳（メタデータ） (2021-11-19T12:14:43Z)
• Style Curriculum Learning for Robust Medical Image Segmentation [62.02435329931057]
  深部セグメンテーションモデルは、トレーニングデータセットとテストデータセットの間の画像強度の分散シフトによって、しばしば劣化する。 本稿では,そのような分散シフトが存在する場合に,ロバストなセグメンテーションを確保するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-01T08:56:24Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Learning Propagation Rules for Attribution Map Generation [146.71503336770886]
  本稿では,属性マップを生成する専用手法を提案する。 具体的には,各ピクセルに対して適応的な伝搬規則を可能にする学習可能なプラグインモジュールを提案する。 導入された学習可能なモジュールは、高階差分サポートを備えた任意のオートグレードフレームワークでトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-14T16:23:58Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。