論文の概要: One-Shot Machine Unlearning with Mnemonic Code

• arxiv url: http://arxiv.org/abs/2306.05670v1
• Date: Fri, 9 Jun 2023 04:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 14:47:18.581806
• Title: One-Shot Machine Unlearning with Mnemonic Code
• Title（参考訳）: Mnemonic Codeによるワンショット機械の学習
• Authors: Tomoya Yamashita and Masanori Yamada and Takashi Shibata
• Abstract要約: 機械学習(MU)は、トレーニングされたディープラーニングモデルから望ましくないトレーニングデータを忘れることを目的としている。 単純なMUアプローチは、望ましくないデータが削除されたトレーニングデータで、モデル全体を再トレーニングすることです。 追加の訓練を必要としないワンショットMU法を提案する。
• 参考スコア（独自算出の注目度）: 5.579745503613096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has achieved significant improvements in accuracy and has been applied to various fields. With the spread of deep learning, a new problem has also emerged; deep learning models can sometimes have undesirable information from an ethical standpoint. This problem must be resolved if deep learning is to make sensitive decisions such as hiring and prison sentencing. Machine unlearning (MU) is the research area that responds to such demands. MU aims at forgetting about undesirable training data from a trained deep learning model. A naive MU approach is to re-train the whole model with the training data from which the undesirable data has been removed. However, re-training the whole model can take a huge amount of time and consumes significant computer resources. To make MU even more practical, a simple-yet-effective MU method is required. In this paper, we propose a one-shot MU method, which does not need additional training. To design one-shot MU, we add noise to the model parameters that are sensitive to undesirable information. In our proposed method, we use the Fisher information matrix (FIM) to estimate the sensitive model parameters. Training data were usually used to evaluate the FIM in existing methods. In contrast, we avoid the need to retain the training data for calculating the FIM by using class-specific synthetic signals called mnemonic code. Extensive experiments using artificial and natural datasets demonstrate that our method outperforms the existing methods.
• Abstract（参考訳）: ディープラーニングは精度が大幅に向上し、さまざまな分野に適用されている。 ディープラーニングの普及とともに、新たな問題も浮上した。ディープラーニングモデルは、倫理的な観点から望ましくない情報を持つことがあるのだ。 深層学習が雇用や収監などの繊細な決定を下す場合、この問題は解決されなければならない。 機械学習(mu)は、このような要求に応える研究分野である。 MUの目的は、トレーニングされたディープラーニングモデルから望ましくないトレーニングデータを忘れることだ。 単純なMUアプローチは、望ましくないデータが削除されたトレーニングデータで、モデル全体を再トレーニングすることです。 しかし、モデル全体の再トレーニングには膨大な時間が必要であり、重要なコンピュータリソースを消費する。 MUをより実用的にするためには、単純なyet- Effective MU法が必要である。 本稿では,追加のトレーニングを必要とせず,ワンショットのmu法を提案する。 ワンショットMUを設計するには、望ましくない情報に敏感なモデルパラメータにノイズを加える。 提案手法では,フィッシャー情報行列(fim)を用いて感度モデルパラメータを推定する。 トレーニングデータは通常、既存の手法でFIMを評価するために使用された。 対照的に、Mnemonic codeと呼ばれるクラス固有の合成信号を用いて、FIMを計算するためのトレーニングデータを保持する必要はない。 人工的および自然的データセットを用いた大規模な実験により,本手法が既存手法より優れていることを示す。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Mitigating Memorization In Language Models [37.899013074095336]
  言語モデル(LM)は情報を「記憶」し、トレーニングデータをその重みにエンコードすることで、推論時クエリがそのデータの冗長な復活につながる。 本稿では,メモリ化緩和手法の高速化と評価を目的とした,小型で計算効率のよいLMのスイートであるTinyMemを紹介する。 特に,提案した未学習手法である BalancedSubnet は,目標タスクの性能を保ちながら,記憶情報を削除する他の緩和手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T02:53:51Z)
• Deep Unlearn: Benchmarking Machine Unlearning [7.450700594277741]
  機械学習(MU)は、訓練された機械学習モデルの学習可能なパラメータから、特定のデータポイントの影響を取り除くことを目的としている。 本稿では,様々なベンチマークデータセットおよびモデルを対象とした18種類の最先端MU手法について検討する。
  論文  参考訳（メタデータ） (2024-10-02T06:41:58Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression [0.6021787236982659]
  そこで本研究では,学生と教師の共用で,サロゲートモデルを学習するための,シンプルでスケーラブルな学習手法を提案する。 提案手法を用いることで,DBALやモンテカルロサンプリングのような他のベースラインと同レベルのサロゲート精度が得られる。
  論文  参考訳（メタデータ） (2022-11-16T02:31:57Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Light-weight Deformable Registration using Adversarial Learning with Distilling Knowledge [17.475408305030278]
  本稿では,競争精度を向上しつつ計算コストを大幅に削減する軽量変形型レジストレーションネットワークを提案する。 特に,有効だが高価な教師ネットワークから学生ネットワークへの有意義な情報を活用した蒸留知識アルゴリズムを用いた新たな逆学習を提案する。 各種公開データセットに対する実験結果から,提案手法は最先端の精度を達成できる一方で,最近の手法よりもはるかに高速であることがわかった。
  論文  参考訳（メタデータ） (2021-10-04T09:59:01Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。