論文の概要: Selective Forgetting of Deep Networks at a Finer Level than Samples

• arxiv url: http://arxiv.org/abs/2012.11849v2
• Date: Thu, 31 Dec 2020 12:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:42:00.434776
• Title: Selective Forgetting of Deep Networks at a Finer Level than Samples
• Title（参考訳）: 深部ネットワークのサンプルよりも少ないレベルにおける選択的フォーミング
• Authors: Tomohiro Hayase, Suguru Yasutomi, Takashi Katoh
• Abstract要約: サンプルレベルよりも細かいレベルで分類タスクの選択的な忘れを定式化します。 2つの条件で区別される4つのデータセットに基づいて、より細かいレベルを指定します。 実験の結果,提案手法は分類に特定の情報を用いるのを忘れさせることができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective forgetting or removing information from deep neural networks (DNNs) is essential for continual learning and is challenging in controlling the DNNs. Such forgetting is crucial also in a practical sense since the deployed DNNs may be trained on the data with outliers, poisoned by attackers, or with leaked/sensitive information. In this paper, we formulate selective forgetting for classification tasks at a finer level than the samples' level. We specify the finer level based on four datasets distinguished by two conditions: whether they contain information to be forgotten and whether they are available for the forgetting procedure. Additionally, we reveal the need for such formulation with the datasets by showing concrete and practical situations. Moreover, we introduce the forgetting procedure as an optimization problem on three criteria; the forgetting, the correction, and the remembering term. Experimental results show that the proposed methods can make the model forget to use specific information for classification. Notably, in specific cases, our methods improved the model's accuracy on the datasets, which contains information to be forgotten but is unavailable in the forgetting procedure. Such data are unexpectedly found and misclassified in actual situations.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)からの情報を選択的に忘れたり取り除いたりすることは、継続的な学習には不可欠であり、DNNを制御する上では困難である。 デプロイされたdnnは、異常値、攻撃者による毒殺、あるいはリーク/センシティブな情報によってトレーニングされる可能性があるため、このような忘れ込みは実用的な意味でも重要である。 本稿では,分類課題に対して,試料のレベルよりも細かいレベルで選択的に忘れることを定式化する。 本研究では,忘れられる情報を含むか否かと,忘れられる手順に利用できるかどうかの2つの条件で区別された4つのデータセットに基づいて,より詳細なレベルを指定する。 さらに,具体的かつ実践的な状況を示すことにより,データセットによるこのような定式化の必要性を明らかにする。 さらに, 3 つの基準,すなわち忘れ方, 修正, 記憶時間に関する最適化問題として, 忘れ方手順を導入する。 実験の結果,提案手法は分類に特定の情報を用いるのを忘れさせることができた。 特に,本手法は,忘れるべき情報を含むデータセット上でのモデルの精度を向上するが,忘れる手順では利用できない。 これらのデータは予期せぬ状況で発見され、誤分類される。

関連論文リスト

• Actively Learning Deep Neural Networks with Uncertainty Sampling Based on Sum-Product Networks [4.821312633849745]
  本稿では、畳み込みニューラルネットワーク(CNN)のトレーニングにおける不確実性サンプリングに対する新しいアプローチを提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• Classification of datasets with imputed missing values: does imputation quality matter? [2.7646249774183]
  不完全なデータセットでサンプルを分類するのは簡単ではない。 品質を評価するのによく使われる尺度がいかに欠陥があるかを実証する。 本稿では,データ全体の分布をいかに再現するかに焦点をあてた,新たな相違点のクラスを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:58:03Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To Reduce Model Bias [10.639605996067534]
  コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。 COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。 本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
  論文  参考訳（メタデータ） (2021-10-20T06:00:03Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• Finding High-Value Training Data Subset through Differentiable Convex Programming [5.5180456567480896]
  本稿では,トレーニングデータの高値部分集合を選択する問題について検討する。 重要なアイデアは、オンラインサブセット選択のための学習可能なフレームワークを設計することです。 このフレームワークを用いて,選択モデルとmlモデルのパラメータを共同で学習するオンライン交流最小化アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-04-28T14:33:26Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。