論文の概要: Revisiting Machine Unlearning with Dimensional Alignment

• arxiv url: http://arxiv.org/abs/2407.17710v3
• Date: Sat, 21 Dec 2024 02:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:51:44.833087
• Title: Revisiting Machine Unlearning with Dimensional Alignment
• Title（参考訳）: 次元アライメントによる機械アンラーニングの再検討
• Authors: Seonguk Seo, Dongwan Kim, Bohyung Han,
• Abstract要約: そこで本研究では,未知の固有空間間のアライメントを計測し,データセットの保持を行う,機械学習のための新しい評価基準を提案する。 筆者らの枠組みは, 忘れ物から情報を効果的に排除し, 保持物から知識を保存している。
• 参考スコア（独自算出の注目度）: 46.29161970063835
• License:
• Abstract: Machine unlearning, an emerging research topic focusing on compliance with data privacy regulations, enables trained models to remove the information learned from specific data. While many existing methods indirectly address this issue by intentionally injecting incorrect supervisions, they can drastically and unpredictably alter the decision boundaries and feature spaces, leading to training instability and undesired side effects. To fundamentally approach this task, we first analyze the changes in latent feature spaces between original and retrained models, and observe that the feature representations of samples not involved in training are closely aligned with the feature manifolds of previously seen samples in training. Based on these findings, we introduce a novel evaluation metric for machine unlearning, coined dimensional alignment, which measures the alignment between the eigenspaces of the forget and retain set samples. We employ this metric as a regularizer loss to build a robust and stable unlearning framework, which is further enhanced by integrating a self-distillation loss and an alternating training scheme. Our framework effectively eliminates information from the forget set and preserves knowledge from the retain set. Lastly, we identify critical flaws in established evaluation metrics for machine unlearning, and introduce new evaluation tools that more accurately reflect the fundamental goals of machine unlearning.
• Abstract（参考訳）: データプライバシ規制の遵守に焦点を当てた、新たな研究トピックである機械学習によって、トレーニングされたモデルが、特定のデータから学んだ情報を削除できるようになる。 既存の多くの手法は、意図的に誤った監督を注入することで間接的にこの問題に対処するが、決定境界と特徴空間を劇的に予測不能に変更し、不安定性と望ましくない副作用を訓練する。 この課題に根本的に取り組むために、我々はまず、原型と再訓練されたモデル間の潜在特徴空間の変化を分析し、トレーニングに関わらないサンプルの特徴表現が、トレーニング中の以前に見られたサンプルの特徴多様体と密接に一致していることを確認する。 そこで本研究では, 機械学習のための新しい評価指標である次元アライメント(次元アライメント)を導入し, 集合標本の固有空間間のアライメントを計測する。 我々は、この指標を正則化損失として使用し、堅牢で安定したアンラーニングフレームワークを構築し、自己蒸留損失と交互トレーニングスキームを統合することでさらに強化する。 筆者らの枠組みは, 忘れ物から情報を効果的に排除し, 保持物から知識を保存している。 最後に,機械学習のための確立された評価指標の重大な欠陥を特定し,機械学習の基本目標をより正確に反映する新しい評価ツールを導入する。

関連論文リスト

• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Evaluating of Machine Unlearning: Robustness Verification Without Prior Modifications [15.257558809246524]
  Unlearningは、事前トレーニングされたモデルが特定のトレーニングサンプルの影響を取り除くことができるプロセスである。 既存の検証方法は、メンバシップ推論攻撃(MIA)やバックドア攻撃のような機械学習攻撃技術に依存している。 本稿では,事前の修正を伴わない新しい検証手法を提案し,より大規模な検証を支援する。
  論文  参考訳（メタデータ） (2024-10-14T03:19:14Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• Decoupling the Class Label and the Target Concept in Machine Unlearning [81.69857244976123]
  機械学習の目的は、トレーニングデータの一部を除外した再トレーニングされたモデルを近似するために、トレーニングされたモデルを調整することだ。 過去の研究では、クラスワイド・アンラーニングが対象クラスの知識を忘れることに成功していることが示された。 我々は、TARget-aware Forgetting (TARF) という一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-12T14:53:30Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Dataset Condensation Driven Machine Unlearning [0.0]
  データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。 我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。 本稿では,機械のアンラーニングを計測するための新しい効果的なアプローチを提案し,その適用方法として,メンバシップ推論とモデル逆転攻撃の防御を提案する。
  論文  参考訳（メタデータ） (2024-01-31T21:48:25Z)
• DUCK: Distance-based Unlearning via Centroid Kinematics [40.2428948628001]
  本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。 アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。 また,適応学習スコア (Adaptive Unlearning Score, AUS) と呼ばれる新しい指標を導入し, 対象データに対する未学習プロセスの有効性だけでなく, 元のモデルに対する性能損失の定量化も行った。
  論文  参考訳（メタデータ） (2023-12-04T17:10:25Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。