論文の概要: Selective Forgetting of Deep Networks at a Finer Level than Samples

• arxiv url: http://arxiv.org/abs/2012.11849v2
• Date: Thu, 31 Dec 2020 12:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:42:00.434776
• Title: Selective Forgetting of Deep Networks at a Finer Level than Samples
• Title（参考訳）: 深部ネットワークのサンプルよりも少ないレベルにおける選択的フォーミング
• Authors: Tomohiro Hayase, Suguru Yasutomi, Takashi Katoh
• Abstract要約: サンプルレベルよりも細かいレベルで分類タスクの選択的な忘れを定式化します。 2つの条件で区別される4つのデータセットに基づいて、より細かいレベルを指定します。 実験の結果,提案手法は分類に特定の情報を用いるのを忘れさせることができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective forgetting or removing information from deep neural networks (DNNs) is essential for continual learning and is challenging in controlling the DNNs. Such forgetting is crucial also in a practical sense since the deployed DNNs may be trained on the data with outliers, poisoned by attackers, or with leaked/sensitive information. In this paper, we formulate selective forgetting for classification tasks at a finer level than the samples' level. We specify the finer level based on four datasets distinguished by two conditions: whether they contain information to be forgotten and whether they are available for the forgetting procedure. Additionally, we reveal the need for such formulation with the datasets by showing concrete and practical situations. Moreover, we introduce the forgetting procedure as an optimization problem on three criteria; the forgetting, the correction, and the remembering term. Experimental results show that the proposed methods can make the model forget to use specific information for classification. Notably, in specific cases, our methods improved the model's accuracy on the datasets, which contains information to be forgotten but is unavailable in the forgetting procedure. Such data are unexpectedly found and misclassified in actual situations.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)からの情報を選択的に忘れたり取り除いたりすることは、継続的な学習には不可欠であり、DNNを制御する上では困難である。 デプロイされたdnnは、異常値、攻撃者による毒殺、あるいはリーク/センシティブな情報によってトレーニングされる可能性があるため、このような忘れ込みは実用的な意味でも重要である。 本稿では,分類課題に対して,試料のレベルよりも細かいレベルで選択的に忘れることを定式化する。 本研究では,忘れられる情報を含むか否かと,忘れられる手順に利用できるかどうかの2つの条件で区別された4つのデータセットに基づいて,より詳細なレベルを指定する。 さらに,具体的かつ実践的な状況を示すことにより,データセットによるこのような定式化の必要性を明らかにする。 さらに, 3 つの基準,すなわち忘れ方, 修正, 記憶時間に関する最適化問題として, 忘れ方手順を導入する。 実験の結果,提案手法は分類に特定の情報を用いるのを忘れさせることができた。 特に,本手法は,忘れるべき情報を含むデータセット上でのモデルの精度を向上するが,忘れる手順では利用できない。 これらのデータは予期せぬ状況で発見され、誤分類される。

関連論文リスト

• 3DS: Decomposed Difficulty Data Selection's Case Study on LLM Medical Domain Adaptation [13.058299222554295]
  大きな言語モデルは一般的なタスクでは優れていますが、医療のような専門分野では苦労しています。 2段階モデル中心のデータ選択フレームワークDe Difficulty Data Selection (3DS)を提案する。 実世界の医療データセットに関する我々の実験は、既存の方法よりも5.29%以上の精度で3DSの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-13T02:29:00Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Comprehensive Benchmarking of Entropy and Margin Based Scoring Metrics for Data Selection [0.8192907805418583]
  我々は,「有用性」や「難易度」について,将来的なトレーニング事例を評価する方法を提案する。 主にエントロピーとError L2-Norm(EL2N)のスコアを実験した。 次に、これらの非同定データセットを用いてトレーニングデータ拡張実験を行い、スコアベースの選択が、ランダム選択のベースライン技術と比較して、意味的誤り率2%、ドメイン分類エラー率4%-7%の減少をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-11-27T20:33:54Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。