論文の概要: Auditable Unlearning for LLMs

• arxiv url: http://arxiv.org/abs/2611.05866v1
• Date: Wed, 04 Nov 2026 02:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.927598
• Title: Auditable Unlearning for LLMs
• Title（参考訳）: LLMのための聴覚的アンラーニング
• Abstract要約: 機械学習は、削除要求の後、トレーニングされたモデルからユーザーのデータを削除することを目的としている。 既存のメソッドは,3つの軸 – どれだけの能力を維持しているか,メンバシップ推論攻撃に対する堅牢性 – で大きく評価されている。 オーディショナビリティを第4軸として導入し、要求された(対象集合)と保持された(保持集合)データの分離として定義する。
• 参考スコア（独自算出の注目度）: 8.826674740322185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to remove a user's data from a trained model after a deletion request. Existing methods are majorly evaluated on three axes - how well they forget, how much capability they retain, and how robust they are to membership inference attacks, but not on whether the provider can offer the user any evidence that the deletion occurred. To fill this gap, we introduce auditability as a fourth axis, defined as the separation between requested (forget set) and retained (retain set) data under a statistic the provider computes. We show that across eleven unlearning methods on TOFU, MUSE and RWKU no method satisfies all four axes, with different methods falling short on different axes. To address this, we propose a two stage method that can be used on top of any unlearning method, in the the first stage we propose ${GapWiden}$ which uses a hinge loss to increase the difference between audit statistics of forget set and retain set. In the second stage we propose ${GapVeil}$, an inference time rejection-sampler which uses the base model as the drafter and re-samples based on the audit statistics of the drafted response. We observe that using our method, auditability and leakage reach oracle parity for every unlearning method, and forget performance converges to the oracle; retain performance improves for nine of eleven methods but remains short of parity. Our results show that evidence of deletion or auditability can be constructed by design, and that treating it as an explicit requirement changes the viability of existing unlearning methods.
• Abstract（参考訳）: 機械学習は、削除要求の後、トレーニングされたモデルからユーザーのデータを削除することを目的としている。 既存のメソッドは,3つの軸 – どれだけの能力を維持しているのか,どの程度のメンバシップ推論攻撃が堅牢か – で大きく評価されていますが,プロバイダがユーザに対して,削除発生の証拠を提供することができるかどうかについては定かではありません。 このギャップを埋めるために、我々は、要求された(対象集合)と保持された(保持集合)データの間の分離として定義された第4軸として監査可能性を導入する。 ToFU,MUSE,RWKUの11種類の未学習手法が4つの軸すべてを満たすことを示した。 そこで本研究では,任意のアンラーニング手法上で使用可能な2段階の手法を提案する。第1段階では,ヒンジロスを用いて,スリープセットの監査統計値と保持セットとの差を増大させる${GapWiden}$を提案する。 第2段階では、ドラフトされたレスポンスの監査統計に基づいて、ベースモデルをドラフトとして使用し、再サンプリングする推論時間リジェクションサンプラーである${GapVeil}$を提案する。 我々は,本手法を用いることで,未学習のすべてのメソッドに対して,オーダビリティとリークがオーラクルパリティに到達し,パフォーマンスがオーラクルに収束するのを忘れることが観察された。 以上の結果から, 削除や監査可能性の証拠は設計によって構築可能であり, 明示的な要件として扱うことは, 既存の未学習手法の生存可能性を変えることが示唆された。

関連論文リスト

• Counterfactual Certification for Sequential Unlearning with Long-Run Performance Guarantees [6.029433950934382]
  認定された機械学習フレームワークをシーケンシャルな削除要求に拡張する。 各モデルリリースは、削除されたグループが決して参加しない、反実的未学習の軌跡に対して認証する。 削除毎の微調整予算を固定することにより、スムーズな凸目標に対して、この手法は要求数に均一に性能損失を拘束し続けることを示す。
  論文  参考訳（メタデータ） (2026-10-13T08:56:26Z)
• The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
  複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。 提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。 本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
  論文  参考訳（メタデータ） (2026-03-11T19:51:33Z)
• Zero-Shot Machine Unlearning with Proxy Adversarial Data Generation [23.668928015009087]
  機械学習は、訓練されたモデルから特定のサンプルの影響を取り除くことを目的としている。 既存の未学習アルゴリズムは、この問題を防ぐために残りのデータに依存する。 本稿では,このギャップを埋めるための新しいフレームワークであるZS-PAGを提案する。
  論文  参考訳（メタデータ） (2025-07-29T12:16:55Z)
• Instance-Level Data-Use Auditing of Visual ML Models [49.862257986549885]
  機械学習(ML)システムにおけるデータの不正使用に関する法的論争の傾向は、信頼性の高いデータ利用監査機構の必要性を浮き彫りにしている。 本稿では、データ所有者がMLモデルにおける個々のデータインスタンスの使用を監査できるように設計された、最初のプロアクティブな、インスタンスレベルのデータ利用監査手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T13:28:57Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Verifiable and Provably Secure Machine Unlearning [44.142771334058715]
  機械学習は、トレーニング後の機械学習モデルのトレーニングデータセットからポイントを取り除くことを目的としている。 未学習システムの保証を正式に把握するために,検証可能な未学習の暗号的定義を初めて提示する。 我々は,3種類の非学習手法のプロトコルを実装し,線形回帰,ロジスティック回帰,ニューラルネットワークの実現可能性を検証する。
  論文  参考訳（メタデータ） (2022-10-17T14:19:52Z)
• Spacing Loss for Discovering Novel Categories [72.52222295216062]
  新たなクラスディスカバリ(NCD)は、マシンラーニングモデルがラベルのないデータからインスタンスを意味的にグループ化する、学習パラダイムである。 まず,ラベル付きデータとラベルなしデータを併用する必要があるかどうかに基づいて,既存のNCD手法を1段階および2段階の手法に特徴付ける。 多次元スケーリングのキューを用いて、潜在空間における分離性を強制する単純で強力な損失関数を考案する。
  論文  参考訳（メタデータ） (2022-04-22T09:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。