論文の概要: Task-Aware Machine Unlearning and Its Application in Load Forecasting
- arxiv url: http://arxiv.org/abs/2308.14412v1
- Date: Mon, 28 Aug 2023 08:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:39:29.763954
- Title: Task-Aware Machine Unlearning and Its Application in Load Forecasting
- Title(参考訳): タスク対応機械の学習と負荷予測への応用
- Authors: Wangkun Xu, Fei Teng
- Abstract要約: データプライバシとセキュリティは、負荷予測において無視できない要素になっている。
データプライバシとセキュリティは、負荷予測において無視できない要素になっている。
本稿では,すでに訓練済みの予測器に対する元のデータセットの一部の影響を除去するマシンアンラーニングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 4.00606516946677
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Data privacy and security have become a non-negligible factor in load
forecasting. Previous researches mainly focus on training stage enhancement.
However, once the model is trained and deployed, it may need to `forget' (i.e.,
remove the impact of) part of training data if the data is found to be
malicious or as requested by the data owner. This paper introduces machine
unlearning algorithm which is specifically designed to remove the influence of
part of the original dataset on an already trained forecaster. However, direct
unlearning inevitably degrades the model generalization ability. To balance
between unlearning completeness and performance degradation, a
performance-aware algorithm is proposed by evaluating the sensitivity of local
model parameter change using influence function and sample re-weighting.
Moreover, we observe that the statistic criterion cannot fully reflect the
operation cost of down-stream tasks. Therefore, a task-aware machine unlearning
is proposed whose objective is a tri-level optimization with dispatch and
redispatch problems considered. We theoretically prove the existence of the
gradient of such objective, which is key to re-weighting the remaining samples.
We test the unlearning algorithms on linear and neural network load forecasters
with realistic load dataset. The simulation demonstrates the balance on
unlearning completeness and operational cost. All codes can be found at
https://github.com/xuwkk/task_aware_machine_unlearning.
- Abstract(参考訳): データプライバシとセキュリティは、負荷予測において無視できない要素になっている。
これまでの研究は主に訓練段階の強化に焦点が当てられている。
しかし、一度モデルをトレーニングしてデプロイすると、データが悪意のあるものであるか、あるいはデータ所有者が要求したように、トレーニングデータの'forget'(すなわち、影響を取り除かなければならない)が必要になる。
本稿では,すでに訓練済みの予測器に対する元のデータセットの一部の影響を除去するマシンアンラーニングアルゴリズムを提案する。
しかし、直接学習は必然的にモデルの一般化能力を低下させる。
非学習完全性と性能低下のバランスをとるために,局所モデルパラメータ変化の感度をインフルエンス関数とサンプル再重み付けを用いて評価し,性能認識アルゴリズムを提案する。
さらに,ダウンストリームタスクの運用コストを,統計基準が完全に反映できないことも確認した。
そこで本研究では,三段階最適化を目標としたタスク認識マシンのアンラーニングを提案する。
このような目的の勾配の存在を理論的に証明し、残りのサンプルを再重み付けする鍵となる。
リアルな負荷データセットを持つ線形およびニューラルネットワーク負荷予測器上で、未学習アルゴリズムをテストする。
シミュレーションは、未学習の完全性と運用コストのバランスを示す。
すべてのコードはhttps://github.com/xuwkk/task_aware_machine_unlearningにある。
関連論文リスト
- Goldfish: An Efficient Federated Unlearning Framework [3.956103498302838]
Goldfishは機械学習アルゴリズムのための新しいフレームワークだ。
基本モデル、損失関数、最適化、拡張の4つのモジュールで構成されている。
既存の機械学習アルゴリズムの妥当性の低い課題に対処するため,新しい損失関数を提案する。
論文 参考訳(メタデータ) (2024-04-04T03:29:41Z) - Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。
本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。
本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
論文 参考訳(メタデータ) (2024-03-24T17:33:22Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Robust Machine Learning by Transforming and Augmenting Imperfect
Training Data [6.928276018602774]
この論文は、現代の機械学習のいくつかのデータ感度を探求する。
まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。
次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
論文 参考訳(メタデータ) (2023-12-19T20:49:28Z) - TaskMet: Task-Driven Metric Learning for Model Learning [31.118311918110454]
ディープラーニングモデルは、トレーニング手順が認識していない可能性のある下流タスクにデプロイされることが多い。
本稿では,モデルのパラメータよりも1段階深いタスク損失信号を用いて,モデルがトレーニングした損失関数のパラメータを学習する。
このアプローチは、最適な予測モデル自体を変更するのではなく、下流のタスクにとって重要な情報を強調するためにモデル学習を変更する。
論文 参考訳(メタデータ) (2023-12-08T18:59:03Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Machine Unlearning for Causal Inference [0.6621714555125157]
モデルが与えられたユーザに関する情報(マシンアンラーニング)の学習/取得の一部を忘れることが重要である。
本稿では、因果推論のための機械学習の概念、特に確率スコアマッチングと治療効果推定について紹介する。
この研究で使用されるデータセットは、ジョブトレーニングプログラムの有効性を評価するために広く使用されているデータセットであるLalondeデータセットである。
論文 参考訳(メタデータ) (2023-08-24T17:27:01Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:51:41Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。