論文の概要: RADNPO: Reference-free Adaptive Negative Preference Optimization for LLM Unlearning

• arxiv url: http://arxiv.org/abs/2609.34251v1
• Date: Mon, 28 Sep 2026 03:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:31:22.735189
• Title: RADNPO: Reference-free Adaptive Negative Preference Optimization for LLM Unlearning
• Title（参考訳）: RADNPO:LLMアンラーニングのための参照なし適応型ネガティブ推論最適化
• Abstract要約: 大型言語モデル(LLM)は、事前トレーニング中に機密性、プライベート、著作権のあるコンテンツを記憶することができる。 最近の選好最適化(PO)に基づく未学習手法は、勾配上昇(GA)に基づく手法よりも安定性を向上させる。 我々は,次の確率再分配を明示的にガイドする参照自由適応負の優先度最適化(RADNPO)を提案する。
• 参考スコア（独自算出の注目度）: 11.995041912925055
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) can memorize sensitive, private, or copyrighted content during pre-training, making machine unlearning necessary for removing targeted knowledge. Recent preference optimization (PO)-based unlearning methods improve stability over gradient ascent (GA)-based methods by introducing alignment-style objectives, which effectively suppress the probability of forget targets. However, target suppression alone does not sufficiently constrain the next-token distribution after unlearning. Existing methods provide limited control over how suppressed probability mass is redistributed and insufficiently adapt forgetting strength to target confidence and distributional concentration. Even after target suppression, probability mass may remain concentrated on a few non-target tokens, potentially producing repetitive or uninformative outputs. To address these limitations, we propose Reference-free ADaptive Negative Preference Optimization (RADNPO), which explicitly guides next-token probability redistribution. Specifically, RADNPO contrasts each forget target with alternative tokens favored by the current next-token distribution and adaptively modulates token-level forgetting strength using target confidence and next-token concentration. Experiments on TOFU and MUSE demonstrate that RADNPO achieves a better trade-off between forgetting quality and model utility than current baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前トレーニング中に機密性のある、プライベート、または著作権のあるコンテンツを記憶することができるため、対象とする知識を除去するためには機械の学習を必要としない。 最近の選好最適化(PO)に基づくアンラーニング手法は、アライメントスタイルの目的を導入することにより、勾配上昇(GA)に基づく手法よりも安定性を向上し、忘れられた目標の確率を効果的に抑制する。 しかし, 目標抑制だけでは, 学習終了後の次点分布を十分に制限することができない。 既存の手法では、抑制された確率質量がどのように再分布するかを限定的に制御し、忘れる強度を目標信頼度と分布集中度に十分に適応させる。 標的の抑制後も、確率質量はいくつかの非ターゲットトークンに集中し続け、繰り返しまたは非形式的な出力を生成する可能性がある。 これらの制約に対処するため、我々は、次の確率再分配を明示的にガイドする、参照なし適応性優先最適化(RADNPO)を提案する。 具体的には、RADNPOは、各忘れ対象を現在の次のトークン分布に好まれる代替トークンと対比し、目標信頼度と次のトークン濃度を用いてトークンレベルの忘れ強度を適応的に調節する。 TOFUとMUSEの実験では、RADNPOは現在のベースラインよりも品質とモデルユーティリティを忘れることのトレードオフをうまく達成している。

関連論文リスト

• Neuralyzing the Trace: Selective Representation-Level Unlearning with Contrastive Sparse Autoencoders [1.3108652488669734]
  機械学習は、モデルの他の能力を維持しながら、ターゲット情報を削除することを目的としている。 より選択的に忘れられる特徴を学習するために設計された、コントラストのあるスパースオートエンコーダであるSCALPELを紹介する。 理論的には、コントラスト学習が目標選択的特徴を促進し、選択スコアが予測される背景知識摂動を制御することを示す。
  論文  参考訳（メタデータ） (2026-09-25T09:51:52Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• LAD: Learning Advantage Distribution for Reasoning [11.179134756179998]
  本稿では,学習上の利点に取って代わる分散マッチングフレームワークであるLearning Advantage Distributionsを紹介する。 LADは精度と生成多様性の両方を確実に改善する。 数学およびコード推論タスクの実験により、LADは精度と生成多様性の両方を確実に改善することが示された。
  論文  参考訳（メタデータ） (2026-02-23T18:44:10Z)
• Make Anything Match Your Target: Universal Adversarial Perturbations against Closed-Source MLLMs via Multi-Crop Routed Meta Optimization [49.30177419529011]
  我々は、より厳密な設定であるユニバーサル・ターゲティング・トランスファラブル・アタック(UTTAA)について研究する。 単一の摂動は、未知の商用MLLMをまたいで、指定されたターゲットに対する任意の入力を常に制御しなければならない。 本稿では,M CRMO-Attackを提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:03:24Z)
• Margin Adaptive DPO: Leveraging Reward Model for Granular Control in Preference Optimization [0.0]
  Margin-Adaptive Direct Preference Optimizationは、安定的で、データ保存、インスタンスレベルのソリューションを提供する。 我々は、MADPOが優れた最適化環境を持っていることを証明し、包括的な理論的解析を行う。 ハイクオリティデータでは+33.3%、低クオリティデータでは+10.5%というパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-10-06T20:09:37Z)
• Distribution Preference Optimization: A Fine-grained Perspective for LLM Unlearning [26.120338506874976]
  モデルユーティリティ全体を維持しながら、特定のデータの影響を取り除くことを目的としたアンラーニングは、重要な研究領域になりつつある。 textbfDistribution textbfPreference textbfOptimization (DiPO)と呼ばれる新しい未学習アルゴリズムを導出する。 DiPOはTOFUベンチマークで最高の品質を獲得し、MUSEベンチマークで主要なスケーラビリティと持続可能性を維持している。
  論文  参考訳（メタデータ） (2025-10-06T12:49:00Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。