論文の概要: Erased, but Not Gone: Output Forgetting Is Not True Forgetting

• arxiv url: http://arxiv.org/abs/2606.25001v1
• Date: Tue, 23 Jun 2026 16:23:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.089375
• Title: Erased, but Not Gone: Output Forgetting Is Not True Forgetting
• Title（参考訳）: 時代遅れだが無駄ではない: アウトプット・フォーゲッティングは真のフォーゲッティングではない
• Authors: Teresa Pui Yee Yong, Win Kent Ong, Chee Seng Chan,
• Abstract要約: 標準出力レベル評価は、アンラーニングの成功を体系的に過大評価できることを示す。 この強いレンズの下では、現在の手法はしばしば出力層で忘れられ、再トレーニングに対して構造化ミスマッチを示す。 この構造ミスマッチは、非対称性を忘れ/保持し、方向ミスマッチ、およびリトレーニング関連方向に沿った集中残差を特徴とする。
• 参考スコア（独自算出の注目度）: 9.095371772236932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning (MU) is commonly judged by output forgetting, such as low forget-set accuracy or reduced logit-level membership inference. But if output-level success can coexist with retraining-inconsistent residuals in representation space, what kind of forgetting are current evaluations actually certifying? We study this question through retraining-consistent representation forgetting, using the retrained model (i.e., trained from scratch without the forget data) as an operational reference for correct forgetting. Across multiple unlearning methods, datasets, and models, our theoretical analysis and empirical results show that standard output-level evaluation can systematically overestimate the success of unlearning. Under this stronger lens, current methods often appear forgotten at the output layer while exhibiting a structured mismatch relative to retraining. They partially align with retraining on forget samples, remain more inconsistent on retain samples, and leave residual discrepancy concentrated along retraining-related directions rather than diffuse in representation space. This structured mismatch is characterized by forget/retain asymmetry, directional mismatch, and concentrated residuals along retraining-related directions. These results suggest that current MU is often evaluated for apparent forgetting rather than retraining-consistent forgetting. More broadly, retraining reveals what output forgetting hides.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、通常、低忘れセットの精度やロジットレベルのメンバシップ推論の削減など、出力を忘れることによって判断される。 しかし、もしアウトプットレベルの成功が、表現空間におけるリトレーニングの不整合残差と共存できるなら、現在の評価が実際に認証されていることを忘れているだろうか? 本稿では,リトレーニングされたモデル(すなわち,スクラッチからトレーニングした)を,リトレーニング・一貫性のある表現を忘れる操作基準として用いて,この問題を考察する。 複数のアンラーニング手法、データセット、モデルにまたがって、我々の理論的分析と経験的結果は、標準出力レベルの評価がアンラーニングの成功を体系的に過大評価できることを示している。 この強いレンズの下では、現在の手法はしばしば出力層で忘れられ、再トレーニングに対して構造化ミスマッチを示す。 彼らは部分的には、忘れられたサンプルの再訓練と一致し、サンプルの保持に矛盾し続け、表現空間の拡散よりも、再訓練に関連する方向に沿って残差が集中している。 この構造ミスマッチは、非対称性を忘れ/保持し、方向ミスマッチ、およびリトレーニング関連方向に沿った集中残差を特徴とする。 これらの結果から,現在のMUは,再学習に一貫性のある忘れ方ではなく,明らかな忘れ方として評価されることが示唆された。 より広範に、再トレーニングは出力を忘れることが隠すものを明らかにする。

関連論文リスト

• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning [28.628342735283752]
  機械学習は、選択したトレーニング例の影響を、完全なリトレーニングなしで除去することを目的としている。 標準的な評価では、未学習の質を、正確さや忘れることに基づくスコアなどの集約されたメトリクスで要約することが多い。 本研究では,非学習モデルと削除後のモデルの再学習モデルとの比較により,この故障モードを例レベルで検討する。
  論文  参考訳（メタデータ） (2026-05-29T13:48:06Z)
• Approximate Machine Unlearning through Manifold Representation Forgetting Guided by Self Mode Connectivity [27.485504993716884]
  マシン・アンラーニングは忘れられる権利を強制する。 ManiF-SMCは、多様体表現に基づく未学習問題に取り組む。 これは最先端の近似手法に匹敵する未学習を実現する。
  論文  参考訳（メタデータ） (2026-05-20T01:28:42Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Class-Adaptive Self-Training for Relation Extraction with Incompletely Annotated Training Data [43.46328487543664]
  関係抽出(RE)は、文や文書から関係を抽出することを目的としている。 最近の研究により、多くのREデータセットが不完全注釈付きであることが示されている。 これは、有効関係が「no_relation」として誤って注釈付けされる偽陰問題として知られている。
  論文  参考訳（メタデータ） (2023-06-16T09:01:45Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。