Fugu-MT 論文翻訳(概要): One-Shot Machine Unlearning with Mnemonic Code

論文の概要: One-Shot Machine Unlearning with Mnemonic Code

arxiv url: http://arxiv.org/abs/2306.05670v2
Date: Wed, 25 Sep 2024 07:51:23 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 15:02:22.834431
Title: One-Shot Machine Unlearning with Mnemonic Code
Title（参考訳）: Mnemonic Codeによるワンショット機械の学習
Authors: Tomoya Yamashita, Masanori Yamada, Takashi Shibata,
Abstract要約: 人工知能(AI)アプリケーションに固有の倫理的およびプライバシー上の問題は、ディープラーニングの急速な普及に対する懸念が高まっている。機械学習(MU)は、トレーニングされたAIモデルを望ましくないトレーニングデータを忘れさせることによって、これらの問題に対処する研究領域である。残念なことに、既存のMUメソッドの多くは、忘れるのにかなりの時間と計算コストを必要とする。
参考スコア（独自算出の注目度）: 4.119081933790924
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Ethical and privacy issues inherent in artificial intelligence (AI) applications have been a growing concern with the rapid spread of deep learning. Machine unlearning (MU) is the research area that addresses these issues by making a trained AI model forget about undesirable training data. Unfortunately, most existing MU methods incur significant time and computational costs for forgetting. Therefore, it is often difficult to apply these methods to practical datasets and sophisticated architectures, e.g., ImageNet and Transformer. To tackle this problem, we propose a lightweight and effective MU method. Our method identifies the model parameters sensitive to the forgetting targets and adds perturbation to such model parameters. We identify the sensitive parameters by calculating the Fisher Information Matrix (FIM). This approach does not require time-consuming additional training for forgetting. In addition, we introduce class-specific random signals called mnemonic code to reduce the cost of FIM calculation, which generally requires the entire training data and incurs significant computational costs. In our method, we train the model with mnemonic code; when forgetting, we use a small number of mnemonic codes to calculate the FIM and get the effective perturbation for forgetting. Comprehensive experiments demonstrate that our method is faster and better at forgetting than existing MU methods. Furthermore, we show that our method can scale to more practical datasets and sophisticated architectures.
Abstract（参考訳）: 人工知能(AI)アプリケーションに固有の倫理的およびプライバシー上の問題は、ディープラーニングの急速な普及に対する懸念が高まっている。機械学習(MU)は、トレーニングされたAIモデルを望ましくないトレーニングデータを忘れさせることによって、これらの問題に対処する研究領域である。残念なことに、既存のMUメソッドの多くは、忘れるのにかなりの時間と計算コストを必要とする。したがって、これらの手法を実用的なデータセットや高度なアーキテクチャ、例えば ImageNet や Transformer に適用することは、しばしば困難である。この問題に対処するために,軽量かつ効率的なMU法を提案する。本手法は, 忘れる対象に敏感なモデルパラメータを同定し, モデルパラメータに摂動を追加する。本稿では,FIM(Fisher Information Matrix)を計算し,その感度パラメータを同定する。このアプローチでは、忘れるのに時間を要する追加のトレーニングは必要ありません。さらに,Mnemonic codeと呼ばれるクラス固有のランダム信号を導入し,FIM計算のコストを削減する。本手法では, ムネモニック符号を用いてモデルを訓練し, ムネモニック符号を少数使用してFIMを計算し, 効率的に摂動し, 忘れる。包括的実験により,本手法は既存のMU法よりも高速で,忘れやすいことが示された。さらに,本手法は,より実用的なデータセットや高度なアーキテクチャに拡張可能であることを示す。

関連論文リスト

Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Mitigating Memorization In Language Models [37.899013074095336]
言語モデル(LM)は情報を「記憶」し、トレーニングデータをその重みにエンコードすることで、推論時クエリがそのデータの冗長な復活につながる。本稿では,メモリ化緩和手法の高速化と評価を目的とした,小型で計算効率のよいLMのスイートであるTinyMemを紹介する。特に,提案した未学習手法である BalancedSubnet は,目標タスクの性能を保ちながら,記憶情報を削除する他の緩和手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-03T02:53:51Z)
Deep Unlearn: Benchmarking Machine Unlearning [7.450700594277741]
機械学習(MU)は、訓練された機械学習モデルの学習可能なパラメータから、特定のデータポイントの影響を取り除くことを目的としている。本稿では,様々なベンチマークデータセットおよびモデルを対象とした18種類の最先端MU手法について検討する。
論文参考訳（メタデータ） (2024-10-02T06:41:58Z)
Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
この論文は、現代の機械学習のいくつかのデータ感度を探求する。まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
論文参考訳（メタデータ） (2023-12-19T20:49:28Z)
Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-08-15T11:30:45Z)
Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression [0.6021787236982659]
そこで本研究では,学生と教師の共用で,サロゲートモデルを学習するための,シンプルでスケーラブルな学習手法を提案する。提案手法を用いることで,DBALやモンテカルロサンプリングのような他のベースラインと同レベルのサロゲート精度が得られる。
論文参考訳（メタデータ） (2022-11-16T02:31:57Z)
Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文参考訳（メタデータ） (2022-09-29T18:11:01Z)
Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文参考訳（メタデータ） (2022-09-01T17:05:20Z)
Light-weight Deformable Registration using Adversarial Learning with Distilling Knowledge [17.475408305030278]
本稿では,競争精度を向上しつつ計算コストを大幅に削減する軽量変形型レジストレーションネットワークを提案する。特に,有効だが高価な教師ネットワークから学生ネットワークへの有意義な情報を活用した蒸留知識アルゴリズムを用いた新たな逆学習を提案する。各種公開データセットに対する実験結果から,提案手法は最先端の精度を達成できる一方で,最近の手法よりもはるかに高速であることがわかった。
論文参考訳（メタデータ） (2021-10-04T09:59:01Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。