論文の概要: CaMU: Disentangling Causal Effects in Deep Model Unlearning

• arxiv url: http://arxiv.org/abs/2401.17504v1
• Date: Tue, 30 Jan 2024 23:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 16:03:20.707232
• Title: CaMU: Disentangling Causal Effects in Deep Model Unlearning
• Title（参考訳）: CaMU:深層モデル学習における因果関係の解消
• Authors: Shaofei Shen, Chenhao Zhang, Alina Bialkowski, Weitong Chen, Miao Xu
• Abstract要約: マシンアンラーニングでは、残ったデータの必要な情報を保持しながら、データを忘れる情報を取り除く必要がある。 本研究では、未学習の因果分析を行い、Causal Machine Unlearning(CaMU)と呼ばれる新しいフレームワークを導入する。 CaMUは、残データに関する情報への介入を追加し、忘れデータと残データの間の因果関係を解消する。
• 参考スコア（独自算出の注目度）: 11.527876673219758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning requires removing the information of forgetting data while keeping the necessary information of remaining data. Despite recent advancements in this area, existing methodologies mainly focus on the effect of removing forgetting data without considering the negative impact this can have on the information of the remaining data, resulting in significant performance degradation after data removal. Although some methods try to repair the performance of remaining data after removal, the forgotten information can also return after repair. Such an issue is due to the intricate intertwining of the forgetting and remaining data. Without adequately differentiating the influence of these two kinds of data on the model, existing algorithms take the risk of either inadequate removal of the forgetting data or unnecessary loss of valuable information from the remaining data. To address this shortcoming, the present study undertakes a causal analysis of the unlearning and introduces a novel framework termed Causal Machine Unlearning (CaMU). This framework adds intervention on the information of remaining data to disentangle the causal effects between forgetting data and remaining data. Then CaMU eliminates the causal impact associated with forgetting data while concurrently preserving the causal relevance of the remaining data. Comprehensive empirical results on various datasets and models suggest that CaMU enhances performance on the remaining data and effectively minimizes the influences of forgetting data. Notably, this work is the first to interpret deep model unlearning tasks from a new perspective of causality and provide a solution based on causal analysis, which opens up new possibilities for future research in deep model unlearning.
• Abstract（参考訳）: 機械学習では、残ったデータの必要な情報を保持しながら、データを忘れる情報を取り除く必要がある。 この領域の最近の進歩にもかかわらず、既存の方法論は主に、データ削除後の大幅な性能低下をもたらす残りのデータの情報に対する負の影響を考慮せずに、データ削除の効果に焦点を当てている。 削除後の残データの性能を修復しようとする方法もあるが、その修理後に忘れられた情報も返却できる。 このような問題は、忘れたデータと残ったデータの複雑な絡み合いが原因である。 これらの2種類のデータがモデルに与える影響を適切に区別することなく、既存のアルゴリズムは、忘れているデータの不適切な削除や、残りのデータから貴重な情報の不要な損失のリスクを負う。 この欠点に対処するため,本研究では,未学習の因果解析を行い,CaMU(Causal Machine Unlearning)と呼ばれる新しいフレームワークを導入する。 このフレームワークは、忘れたデータと残りのデータの間の因果効果を解消するために、残りのデータの情報に対する介入を追加する。 そして、CaMUは、残りのデータの因果関係を同時に保存しながら、データの忘れに関する因果影響を除去する。 様々なデータセットやモデルに対する総合的な実験結果から、CaMUは残りのデータの性能を高め、データ忘れの影響を効果的に最小化することを示唆している。 特に、この研究は、因果関係の新しい視点から深層モデルアンラーニングタスクを解釈し、因果解析に基づくソリューションを提供する最初のものである。

関連論文リスト

• The Data Addition Dilemma [4.869513274920574]
  医療タスクのための多くの機械学習では、標準データセットは、多くの、基本的に異なるソースにまたがるデータを集約することによって構築される。 しかし、いつより多くのデータを追加することが助けになるのか、いつ、実際の設定で望ましいモデル結果の進行を妨げるのか? この状況をtextitData Addition Dilemma と認識し、このマルチソーススケーリングコンテキストにトレーニングデータを追加すると、全体的な精度が低下し、不確実なフェアネスの結果が減少し、最悪のサブグループのパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2024-08-08T01:42:31Z)
• Releasing Malevolence from Benevolence: The Menace of Benign Data on Machine Unlearning [28.35038726318893]
  大量の実データや合成データに基づいてトレーニングされた機械学習モデルは、様々な領域で優れた予測性能を達成する。 プライバシの懸念に対処するため、モデルから特定のデータサンプルを削除するために、機械学習が提案されている。 本研究では,データ配信情報を少量の良質なデータ集合に抽出するために,Unlearning Usability Attackを導入する。
  論文  参考訳（メタデータ） (2024-07-06T15:42:28Z)
• Concerned with Data Contamination? Assessing Countermeasures in Code Language Model [8.81329299090667]
  SEタスクのコード言語モデル(CLM)の機能を活用するために、さまざまなテクニックが提案されている。 データ汚染の脅威を軽減するために、さまざまな対策が提案されている。 汚染データと浄化データに対するCLMの性能差を調べた結果,これらの対策の効果について検討した。
  論文  参考訳（メタデータ） (2024-03-25T16:10:25Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Learning Cyclic Causal Models from Incomplete Data [13.69726643902085]
  周期因果グラフを部分的に欠落したデータから学習するための新しいフレームワークであるMissNODAGSを提案する。 付加雑音モデルの下では、MissNODAGSは、欠落したデータを入力し、データの可視部分のログ類似度を最大化することで、因果グラフを学習する。 本研究では、最先端の計算技術を用いた場合と比較して、部分的に欠落した介入データに対する因果学習による性能向上を実証した。
  論文  参考訳（メタデータ） (2024-02-23T22:03:12Z)
• GraphGuard: Detecting and Counteracting Training Data Misuse in Graph Neural Networks [69.97213941893351]
  グラフデータ分析におけるグラフニューラルネットワーク(GNN)の出現は、モデルトレーニング中のデータ誤用に関する重要な懸念を引き起こしている。 既存の手法は、データ誤用検出または緩和のいずれかに対応しており、主にローカルGNNモデル用に設計されている。 本稿では,これらの課題に対処するため,GraphGuardという先駆的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-13T02:59:37Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Federated Causal Discovery [74.37739054932733]
  本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。 ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。 合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T08:04:12Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Approximate Data Deletion from Machine Learning Models [31.689174311625084]
  トレーニングされた機械学習(ML)モデルからデータを削除することは、多くのアプリケーションにおいて重要なタスクである。 線形モデルとロジスティックモデルに対する近似的削除法を提案する。 また,MLモデルからのデータ削除の完全性を評価するための機能注入テストも開発した。
  論文  参考訳（メタデータ） (2020-02-24T05:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。