論文の概要: Coded Machine Unlearning

• arxiv url: http://arxiv.org/abs/2012.15721v1
• Date: Thu, 31 Dec 2020 17:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:03:13.210511
• Title: Coded Machine Unlearning
• Title（参考訳）: Coded Machine Unlearning
• Authors: Nasser Aldaghri, Hessam Mahdavifar, Ahmad Beirami
• Abstract要約: 学習フェーズの前にデータセットを線形に符号化する符号化学習プロトコルを提案する。 また, 符号化学習モデルのアンラーニングプロトコルについて述べるとともに, 完全なアンラーニングを実現するための提案プロトコルの成功について考察する。
• 参考スコア（独自算出の注目度）: 34.08435990347253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models trained in machine learning processes may store information about individual samples used in the training process. There are many cases where the impact of an individual sample may need to be deleted and unlearned (i.e., removed) from the model. Retraining the model from scratch after removing a sample from its training set guarantees perfect unlearning, however, it becomes increasingly expensive as the size of training dataset increases. One solution to this issue is utilizing an ensemble learning method that splits the dataset into disjoint shards and assigns them to non-communicating weak learners and then aggregates their models using a pre-defined rule. This framework introduces a trade-off between performance and unlearning cost which may result in an unreasonable performance degradation, especially as the number of shards increases. In this paper, we present a coded learning protocol where the dataset is linearly coded before the learning phase. We also present the corresponding unlearning protocol for the aforementioned coded learning model along with a discussion on the proposed protocol's success in ensuring perfect unlearning. Finally, experimental results show the effectiveness of the coded machine unlearning protocol in terms of performance versus unlearning cost trade-off.
• Abstract（参考訳）: 機械学習プロセスでトレーニングされたモデルは、トレーニングプロセスで使用される個々のサンプルに関する情報を格納することができる。 個々のサンプルの影響がモデルから削除されて(すなわち取り除く)必要がある場合が多々あります。 トレーニングセットからサンプルを取り除いた後にモデルをスクラッチから再トレーニングすることは、完全なアンラーニングを保証するが、トレーニングデータセットのサイズが大きくなるにつれて、ますます高価になる。 この問題の解決策の1つは、データセットを分離したシャードに分割し、非コミュニケーションの弱い学習者に割り当て、事前に定義されたルールを使ってモデルを集約するアンサンブル学習手法を使用することである。 このフレームワークはパフォーマンスと未学習のコストのトレードオフを導入し、特にシャードの数が増加するにつれて、不合理なパフォーマンス劣化を引き起こす可能性がある。 本稿では,学習フェーズの前に,データセットを線形に符号化する符号化学習プロトコルを提案する。 また、上述した符号化学習モデルに対応するアンラーニングプロトコルを提案し、提案プロトコルが完全アンラーニングを実現する上での成功について論じる。 最後に, 性能と学習コストのトレードオフの観点から, コーデックマシンアンラーニングプロトコルの有効性を実験的に示した。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Corrective Machine Unlearning [22.342035149807923]
  我々は、未知の操作が学習モデルに与える影響を緩和する問題として、矯正機械学習を定式化する。 削除セットを使わずにスクラッチから再学習するなど、既存の未学習手法の多くは、有効な修正未学習のために、操作されたデータの大部分を識別する必要がある。 選択的シナプス減衰法(Selective Synaptic Dampening)は, 操作したサンプルのごく一部で, 有害な効果を学習することなく, 限られた成功を達成している。
  論文  参考訳（メタデータ） (2024-02-21T18:54:37Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Contrastive Unlearning: A Contrastive Approach to Machine Unlearning [30.38966646250252]
  本研究では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。 その結果,非学習の非学習効果と効率性は,最先端のアルゴリズムと比較して低い結果が得られた。
  論文  参考訳（メタデータ） (2024-01-19T02:16:30Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Certifiable Machine Unlearning for Linear Models [1.484852576248587]
  機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。 本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
  論文  参考訳（メタデータ） (2021-06-29T05:05:58Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。