論文の概要: Evaluating Inexact Unlearning Requires Revisiting Forgetting

• arxiv url: http://arxiv.org/abs/2201.06640v1
• Date: Mon, 17 Jan 2022 21:49:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-20 05:46:48.136297
• Title: Evaluating Inexact Unlearning Requires Revisiting Forgetting
• Title（参考訳）: 不正確な未学習を評価するには再考が必要である
• Authors: Shashwat Goel, Ameya Prabhu and Ponnurangam Kumaraguru
• Abstract要約: IC(Interclass Confusion)と呼ばれる,忘れ度を計測する新しいテストを導入する。 ブラックボックステストであるにもかかわらず、ICは削除セットからの情報がネットワークの初期層まで消去されたかどうかを調べることができる。 ネットワークの最終k層を破滅的に偽造する2つの単純なアンラーニング手法が、従来のアンラーニング方法と異なり、大きな削除セットにうまくスケールできることを実証的に示す。
• 参考スコア（独自算出の注目度）: 14.199668091405064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing works in inexact machine unlearning focus on achieving indistinguishability from models retrained after removing the deletion set. We argue that indistinguishability is unnecessary, infeasible to measure, and its practical relaxations can be insufficient. We redefine the goal of unlearning as forgetting all information specific to the deletion set while maintaining high utility and resource efficiency. Motivated by the practical application of removing mislabelled and biased data from models, we introduce a novel test to measure the degree of forgetting called Interclass Confusion (IC). It allows us to analyze two aspects of forgetting: (i) memorization and (ii) property generalization. Despite being a black-box test, IC can investigate whether information from the deletion set was erased until the early layers of the network. We empirically show that two simple unlearning methods, exact-unlearning and catastrophic-forgetting the final k layers of a network, scale well to large deletion sets unlike prior unlearning methods. k controls the forgetting-efficiency tradeoff at similar utility. Overall, we believe our formulation of unlearning and the IC test will guide the design of better unlearning algorithms.
• Abstract（参考訳）: inexact machine unlearningの既存の作業は、削除セットを削除することで再トレーニングされたモデルとの区別不能性を達成することに焦点を当てている。 我々は、識別不能性は不要であり、測定が不可能であり、実際の緩和が不十分であると主張する。 私たちは、高いユーティリティとリソース効率を維持しながら、削除セットに固有のすべての情報を忘れるという学習の目標を再定義します。 モデルから誤りや偏りのあるデータを除去する実践的応用によって、我々は、IC(Interclass Confusion)と呼ばれる忘れ度を測定する新しいテストを導入する。 忘れることの2つの側面を分析します (i)記憶と記憶 (ii)プロパティの一般化。 ブラックボックステストであるにもかかわらず、ICは削除セットからの情報がネットワークの初期層まで消去されたかどうかを調べることができる。 実験により,ネットワークの最終k層を完全非学習と破滅的に隠蔽する2つの単純なアンラーニング手法が,事前のアンラーニング法と異なり,大きな削除集合によく拡張できることを示した。 k は同様のユーティリティで忘れられる効率のトレードオフを制御する。 全体として、我々の未学習の定式化とICテストは、より良い未学習アルゴリズムの設計を導くと信じている。

関連論文リスト

• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions [11.955062839855334]
  機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
  論文  参考訳（メタデータ） (2024-09-15T15:58:08Z)
• A More Practical Approach to Machine Unlearning [0.0]
  機械学習は、訓練されたモデルから特定のデータポイントの影響を取り除く能力である。 GPT-2の埋め込み層は効果的なアンラーニングに不可欠である。 ファジィマッチング技術はモデルを新しい最適に移行し、反復的アンラーニングはより完全なモダリティを提供する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:06Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• EvCenterNet: Uncertainty Estimation for Object Detection using Evidential Learning [26.535329379980094]
  EvCenterNetは、新しい不確実性を認識した2Dオブジェクト検出フレームワークである。 分類と回帰の不確実性の両方を推定するために、顕在的学習を用いる。 我々は、KITTIデータセット上でモデルをトレーニングし、配布外のデータセットに挑戦して評価する。
  論文  参考訳（メタデータ） (2023-03-06T11:07:11Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• On the Necessity of Auditable Algorithmic Definitions for Machine Unlearning [13.149070833843133]
  機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。 まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。 そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
  論文  参考訳（メタデータ） (2021-10-22T16:16:56Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。