論文の概要: Sample-Grained Approximate Unlearning with Provable Per-Sample Bounds

• arxiv url: http://arxiv.org/abs/2611.04501v1
• Date: Tue, 03 Nov 2026 08:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.760101
• Title: Sample-Grained Approximate Unlearning with Provable Per-Sample Bounds
• Title（参考訳）: 確率的1サンプル境界を用いたサンプルグラインド近似学習
• Abstract要約: 機械学習は、トレーニングされたモデルから指定された忘れ物セットの影響を消し去ると同時に、保持セットに強力なユーティリティを保持することを目的としている。 近似的アンラーニング手法は、完全なリトレーニングなしにこの目標を効率的に達成するが、その効果は主にデータセットレベルのアグリゲーションメトリクスを用いて評価される。 そこで我々は,個々のサンプルのレベルで,近似的アンラーニング手法を動作させるプラグイン最適化フレームワークSALAを紹介した。
• 参考スコア（独自算出の注目度）: 19.320357541506876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to erase the influence of a designated forget set from a trained model while preserving strong utility on the retain set. Approximate unlearning methods efficiently achieve this goal without full retraining, but their effectiveness is primarily assessed using dataset-level aggregate metrics. These aggregate metrics can mask deviations from retraining at the level of individual samples. In this work, we focus on per-sample unlearning effectiveness. We introduce SALA (Sample-grained Likelihoods ALignment), a plug-in optimization framework that enables approximate unlearning methods to operate at the level of individual samples by steering each example toward its correct target distribution. To quantitatively assess this behavior, we further propose the sample-grained distribution gap, a metric that captures per-sample discrepancies between approximate unlearning and exact retraining output distributions. We provide theoretical guarantees showing that SALA contracts this gap and yields a bounded per-sample discrepancy to retraining. To make this framework practical, we develop a low-cost estimation method for the member and non-member target distributions. Extensive experiments on classification and generation tasks demonstrate that SALA reduces the sample-grained distribution gap by up to $86.67\%$ when paired with existing approximate unlearning baselines, while also improving robustness to unlearning hyperparameters.
• Abstract（参考訳）: 機械学習は、トレーニングされたモデルから指定された忘れ物セットの影響を消去し、保持セットに強力なユーティリティを保持することを目的としている。 近似的アンラーニング手法は、完全なリトレーニングなしにこの目標を効率的に達成するが、その効果は主にデータセットレベルのアグリゲーションメトリクスを用いて評価される。 これらの集計メトリクスは、個々のサンプルのレベルでの再トレーニングから逸脱を隠蔽することができる。 本研究では,サンプルごとのアンラーニングの有効性に着目した。 SALA(Sample-grand Likelihoods ALignment)は,各サンプルを適切なターゲット分布に向けて操り,各サンプルのレベルで近似的なアンラーニング手法を動作させるプラグイン最適化フレームワークである。 この挙動を定量的に評価するために,サンプル粒度分布ギャップ(サンプルごとの差分)を提案する。 我々は,SALAがこのギャップを縮めることを理論的に保証し,また,再トレーニングに対する標本ごとの差が有界であることを示す。 この枠組みを実用化するために,部材と非部材の目標分布に対する低コストな推定法を開発した。 分類と生成タスクに関する大規模な実験により、SALAはサンプル粒度の分布ギャップを、既存の近似的未学習ベースラインと組み合わせて最大で86.67.%削減し、また、未学習ハイパーパラメータの堅牢性を改善した。

関連論文リスト

• Sample What You Say: Aligning Language Models to Sample the Distributions They State [22.06410760205191]
  対象の分布を有限個の結果集合上で一致させるモデルを訓練する。 未知の目標分布では、目撃者による訓練により、目標への全変動距離が大幅に減少する。
  論文  参考訳（メタデータ） (2026-09-28T11:26:47Z)
• Multi-Objective Reference-Aligned Machine Unlearning [0.6299766708197883]
  機械学習は、モデルの有用性を維持しながら、特定のトレーニングサンプルの影響を取り除くことを目的としている。 既存の単目的のアプローチ、例えば昇華やランダムレバーベリングは、しばしば矛盾する最適化のダイナミクスと非有界な忘れの目的のために、忘れを誘発する。 本稿では, 損失を, 忘れられたサンプルに対する予測の有界なKLアライメントに置き換えることで, 忘れと保持を共同で最適化する多目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T22:32:40Z)
• Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
  本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T19:08:40Z)
• Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
  本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。 既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。 そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
  論文  参考訳（メタデータ） (2025-12-07T20:57:25Z)
• Learning from Different Samples: A Source-free Framework for Semi-supervised Domain Adaptation [20.172605920901777]
  本稿では,異なる対象サンプルを包括的にマイニングするための異なる戦略を利用するフレームワークの設計に焦点をあてる。 そこで本研究では,対象領域における事前学習モデルの半教師付き微調整を実現するための,新しいソースフリーフレームワーク(SOUF)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:09:32Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。