論文の概要: Learning What to Forget: Distributional Unlearning for LLM Representation Spaces

• arxiv url: http://arxiv.org/abs/2609.38929v1
• Date: Wed, 30 Sep 2026 04:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.160754
• Title: Learning What to Forget: Distributional Unlearning for LLM Representation Spaces
• Title（参考訳）: 忘れるべきことを学ぶ: LLM表現空間における分布的アンラーニング
• Abstract要約: 非言語分布型アンラーニングのためのフレームワークであるtextscMamushiを紹介した。 人口対数密度比をしきい値にすると、最適な固定予算選択則が得られることを示す。 本研究は,TextscMamushiが,下流機械のアンラーニング手順の効率的な選択手法であることを示す。
• 参考スコア（独自算出の注目度）: 15.428842783345784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning systems increasingly face the need to remove the influence of entire data domains, such as toxic language, harmful behavior, or topical content, rather than isolated records. Recent work formalizes this problem as \emph{distributional unlearning}: selecting a subset of a forget domain whose removal moves the training distribution away from an unwanted population while preserving proximity to the desired one. However, existing analyses often impose parametric assumptions to obtain tractable selection rules. These assumptions may be poorly suited to high-dimensional language-model representations. We introduce \textsc{Mamushi}, a framework for non-parametric distributional unlearning that ranks forget examples using a probabilistic classifier whose Bayes-optimal logit equals the forget-to-retain log-density ratio (up to an additive class-prior constant). We show that thresholding the population log-density ratio yields the optimal fixed-budget selection rule for our removal--preservation objective and establish a non-asymptotic transfer guarantee relating score-estimation and threshold-calibration errors to degradation from the population-optimal selection rule. Our empirical evaluation spans real-world datasets on toxic-language removal and topical-domain removal regimes using different representations, with \textsc{Mamushi} achieving a more favorable removal--preservation trade-off than other baselines. Our work shows that \textsc{Mamushi} can serve as an efficient selection approach for downstream machine unlearning procedures, reducing the number of forget examples required to reach a fixed forgetting target.
• Abstract（参考訳）: 機械学習システムは、孤立したレコードではなく、有害な言語、有害な振る舞い、トピックの内容など、データ領域全体の影響を取り除く必要性がますます高まっている。 近年の研究では、この問題を「emph{distributional unlearning}」として定式化している。 しかし、既存の分析はしばしば、抽出可能な選択規則を得るためにパラメトリックな仮定を課す。 これらの仮定は高次元言語モデル表現にはあまり適していないかもしれない。 本研究では,非パラメトリック分布アンラーニングのためのフレームワークである「textsc{Mamushi}」を紹介した。 本研究では, 人口対数密度比の閾値が, 除去目標に対する最適固定予算選択則を導出し, 個体群最適選択則からの劣化に対するスコア推定と閾値校正誤差に関する非漸近移動保証を確立することを示す。 我々の経験的評価は、有害言語除去と、異なる表現を用いたトピックドメイン除去体制に関する実世界のデータセットにまたがっており、他のベースラインよりも良好な除去-保存トレードオフを実現している。 我々の研究は, 下流機械のアンラーニング手順の効率的な選択手法として, 固定された忘れ物目標に到達するために必要な忘れ物件の数を削減できることを示した。

関連論文リスト

• Statistical Unlearning of Distributions: A Hypothesis Testing Approach [0.5352699766206808]
  本稿では,確率分布としてドメインをモデル化した分布的アンラーニングの統計的枠組みを提案する。 所望の領域と不要領域の編集データの仮説テストを用いてこれを定式化する。 マルチモーダルな未学習領域における分布的未学習の振る舞いを記述した構成規則を実証する。
  論文  参考訳（メタデータ） (2026-05-15T21:33:38Z)
• Distributional Machine Unlearning via Selective Data Removal [37.205511534444966]
  ドメインの統計的影響は、しばしばデータサンプルの小さなサブセットに集中している。 所望のディストリビューションを保存しながら、不要なディストリビューションを忘れるバランスをとる小さなサブセットを選択するためのフレームワークである。
  論文  参考訳（メタデータ） (2025-07-20T20:21:23Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Semi-Supervised Laplace Learning on Stiefel Manifolds [48.3427853588646]
  グラフベースで教師付きサンプルを低ラベルレートで作成するためのフレームワークSequential Subspaceを開発した。 我々の手法は極めて低いレートで、高いラベルレートで達成できる。
  論文  参考訳（メタデータ） (2023-07-31T20:19:36Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Learning When to Say "I Don't Know" [0.5505634045241288]
  本稿では,決定空間における不確実性領域を識別・除去するリジェクトオプション分類手法を提案する。 そこで我々は,相補的拒絶領域を解析し,クラスごとのソフトマックス閾値を学習するための検証セットを用いることにより,代替的な定式化を検討する。 提案手法の利点を,2次元点,画像,テキスト分類データセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-09-11T21:50:03Z)
• Online Selective Classification with Limited Feedback [82.68009460301585]
  オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。 私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。 smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
  論文  参考訳（メタデータ） (2021-10-27T08:00:53Z)
• Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
  本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。 提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
  論文  参考訳（メタデータ） (2020-10-15T17:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。