論文の概要: Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance

• arxiv url: http://arxiv.org/abs/2602.10217v1
• Date: Tue, 10 Feb 2026 19:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.238924
• Title: Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance
• Title（参考訳）: Temper-Then-Tilt: テンパリングとクラシファイアガイダンスによる生成モデルのための原則的アンラーニング
• Authors: Jacob L. Block, Mehryar Mohri, Aryan Mokhtari, Sanjay Shakkottai,
• Abstract要約: 本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
• 参考スコア（独自算出の注目度）: 51.532841645285835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study machine unlearning in large generative models by framing the task as density ratio estimation to a target distribution rather than supervised fine-tuning. While classifier guidance is a standard approach for approximating this ratio and can succeed in general, we show it can fail to faithfully unlearn with finite samples when the forget set represents a sharp, concentrated data distribution. To address this, we introduce Temper-Then-Tilt Unlearning (T3-Unlearning), which freezes the base model and applies a two-step inference procedure: (i) tempering the base distribution to flatten high-confidence spikes, and (ii) tilting the tempered distribution using a lightweight classifier trained to distinguish retain from forget samples. Our theoretical analysis provides finite-sample guarantees linking the surrogate classifier's risk to unlearning error, proving that tempering is necessary to successfully unlearn for concentrated distributions. Empirical evaluations on the TOFU benchmark show that T3-Unlearning improves forget quality and generative utility over existing baselines, while training only a fraction of the parameters with a minimal runtime.
• Abstract（参考訳）: 本研究では,タスクを教師付き微調整ではなく,目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 分類器指導は, この比率を近似する標準的な手法であり, 一般には成功できるが, 左折集合がシャープで集中したデータ分布を表す場合, 有限標本で忠実に解き放たれることはあり得ない。 これを解決するために、ベースモデルを凍結し、2段階の推論手順を適用するTemper-Then-Tilt Unlearning(T3-Unlearning)を紹介します。 一 ベース分布を平らに高信頼スパイクに温めること、 二 留置物と留置物とを区別するよう訓練された軽量分類器を用いて、加温分布を傾けること。 我々の理論的分析は、代理分類器のリスクを未学習の誤りにリンクすることを保証する有限サンプルを提供し、集中分布を解き放つにはテンパリングが必要であることを証明している。 TOFUベンチマークの実証的な評価によると、T3-Unlearningは既存のベースラインよりも品質と生成性を改善し、最小限のランタイムでパラメータのごく一部をトレーニングする。

関連論文リスト

• Toward Reliable Machine Unlearning: Theory, Algorithms, and Evaluation [1.7767466724342065]
  本稿では,SOTA MIAスコアに基づく画像分類の最先端手法を超越したAdrial Machine UNlearning(AMUN)を提案する。 既存の手法は、最寄りの会員推定攻撃(MIA-NN)を導入して、再訓練されたモデルの動作を再現できないことを示す。 そこで我々は,スクラッチから再学習したモデルが生成する残りのクラスに対する分布を,クラス入力に対して近似することで,このリークを緩和する微調整対象を提案する。
  論文  参考訳（メタデータ） (2025-12-07T20:57:25Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training [30.866440916522826]
  自己学習は、半教師あり学習における古典的なアプローチである。 自己学習の繰り返しは、たとえ最適でない固定点に留まったとしても、モデル精度を良好に向上することを示す。 次に、自己学習に基づく半スーパービジョンと、異種データによる学習のより一般的な問題との関連性を確立する。
  論文  参考訳（メタデータ） (2020-06-19T08:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。