論文の概要: Representation Unlearning: Forgetting through Information Compression

• arxiv url: http://arxiv.org/abs/2601.21564v1
• Date: Thu, 29 Jan 2026 11:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.765423
• Title: Representation Unlearning: Forgetting through Information Compression
• Title（参考訳）: 表現のアンラーニング:情報圧縮を通して考える
• Authors: Antonio Almudévar, Alfonso Ortega,
• Abstract要約: モデル表現空間で直接学習を行うフレームワークであるRepresentation Unlearningを紹介する。 Representation Unlearningは,パラメータ中心のベースラインよりも信頼性が高く,実用性も向上し,計算効率も向上することを示す。
• 参考スコア（独自算出の注目度）: 3.9189279162842854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning seeks to remove the influence of specific training data from a model, a need driven by privacy regulations and robustness concerns. Existing approaches typically modify model parameters, but such updates can be unstable, computationally costly, and limited by local approximations. We introduce Representation Unlearning, a framework that performs unlearning directly in the model's representation space. Instead of modifying model parameters, we learn a transformation over representations that imposes an information bottleneck: maximizing mutual information with retained data while suppressing information about data to be forgotten. We derive variational surrogates that make this objective tractable and show how they can be instantiated in two practical regimes: when both retain and forget data are available, and in a zero-shot setting where only forget data can be accessed. Experiments across several benchmarks demonstrate that Representation Unlearning achieves more reliable forgetting, better utility retention, and greater computational efficiency than parameter-centric baselines.
• Abstract（参考訳）: 機械学習は、特定のトレーニングデータの影響をモデルから取り除こうとしている。 既存のアプローチは通常モデルパラメータを変更するが、そのような更新は不安定であり、計算コストがかかり、局所近似によって制限される。 モデル表現空間で直接学習を行うフレームワークであるRepresentation Unlearningを紹介する。 モデルパラメータを変更する代わりに、情報ボトルネックを課す表現よりも変換を学ぶ。 我々は,この目的を抽出可能な変分サロゲートを導出し,データの保持と保存の両方が可能な場合と,データのみをアクセス可能なゼロショット設定という,2つの実践的な状況下でのインスタンス化の方法を示す。 複数のベンチマークで実験した結果、Representation Unlearningはパラメータ中心のベースラインよりも信頼性が高く、実用性も向上し、計算効率も向上している。

関連論文リスト

• Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
  既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。 我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。 限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-11-14T22:48:39Z)
• Reveal and Release: Iterative LLM Unlearning with Self-generated Data [5.932877449308903]
  本稿では,自己生成データで学習するReveal-and-Release'法を提案する。 モデルの重み空間をパラメータ効率のよいモジュールで漸進的に調整する。
  論文  参考訳（メタデータ） (2025-09-18T05:07:27Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Model-agnostic and Scalable Counterfactual Explanations via Reinforcement Learning [0.5729426778193398]
  本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。 実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
  論文  参考訳（メタデータ） (2021-06-04T16:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。