論文の概要: Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
- arxiv url: http://arxiv.org/abs/2610.14605v1
- Date: Sat, 10 Oct 2026 05:46:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.082088
- Title: Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
- Title（参考訳）: MLLMアンラーニングにおける知識獲得と拒絶学習の分離
- Abstract要約: Forget-Aware Self-Distillation (FASD)は、正直な無知を実現するために設計されている。
FASDは、目標とする知識を解放し、オープンなタスクにおける情報漏洩を防止し、保持されたデータの性能を維持できることを示す。
- 参考スコア（独自算出の注目度）: 17.523433293080974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current evaluations of multimodal unlearning typically focus on whether a model stops outputting target information. This surface-level criterion, however, masks two critical failure modes. First, knowledge suppression techniques often induce confabulation, leading the model to hallucinate facts about the unlearned subject. Second, refusal training merely alters observable behavior without erasing the underlying knowledge; such models might decline open queries but still identify correct answers under multiple-choice probing. To overcome these limitations, we propose Forget-Aware Self-Distillation (FASD). This method is designed to achieve honest ignorance, a state where the model genuinely loses the target knowledge and learns to acknowledge its absence. FASD separates these goals into two complementary channels. The behavior channel distills appropriate refusals from an ignorance-prompted copy of the model itself. Crucially, target tokens are masked from the teacher distribution to avoid accidentally reteaching the forgotten concepts. Simultaneously, the knowledge channel directly suppresses ground-truth answer spans independently of the model's generated responses. Experiments demonstrate that FASD successfully unlearns target knowledge, prevents information leakage in open-ended tasks, and preserves performance on retained data. The resulting model not only forgets the specified information but accurately recognizes the boundaries of its own knowledge. Code and data will be released upon publication.
- Abstract（参考訳）: マルチモーダル・アンラーニングの現在の評価は、モデルがターゲット情報を出力するのをやめているかどうかに重点を置いている。
しかし、この表面レベルの基準は、2つの重要な障害モードを隠蔽する。
第一に、知識抑制技術は、しばしば妥協を誘発し、未学習の主題に関する事実を幻覚させるモデルへと導かれる。
第二に、拒絶訓練は、基礎となる知識を消去することなく観測可能な振る舞いを変更するだけである。
これらの制限を克服するため、我々はFASD(Forget-Aware Self-Distillation)を提案する。
この方法は、モデルが真に対象の知識を失い、その欠如を認識することを学ぶ状態である、正直な無知を達成するために設計されている。
FASDはこれらの目標を2つの補完チャネルに分けている。
行動チャネルは、モデル自体の無知の進行するコピーから適切な拒絶を蒸留する。
重要なことは、忘れられた概念を誤って再教育しないように、ターゲットトークンを教師分布から隠蔽する。
同時に、知識チャネルは、モデルが生成した応答とは独立して、接地真実応答を直接抑制する。
実験では、FASDが目標とする知識を解放し、オープンなタスクにおける情報漏洩を防止し、保持されたデータのパフォーマンスを維持できることが示されている。
得られたモデルは、指定された情報を忘れるだけでなく、自身の知識の境界を正確に認識する。
コードとデータは公開時に公開される。
関連論文リスト
- Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning [58.725080160369494]
Distinguishable Deletion (mathrmD2$)は、特定のトークンではなく、潜在表現の応答分布を制限するパラダイムである。
本稿では,知識の存在と未学習コンテンツと保持コンテンツとの分離を定量化するエネルギー指標を提案する。
実験の結果、EUAは以前の方法よりも大幅に優れており、$mathrmD2$の優位性を示している。
論文 参考訳（メタデータ） (2026-05-16T03:15:35Z) - LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。
この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。
コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
論文 参考訳（メタデータ） (2025-10-10T05:10:49Z) - Step-by-Step Reasoning Attack: Revealing 'Erased' Knowledge in Large Language Models [9.719371187651591]
未学習のテクニックは、その知識を表面下で抑制し、残すことで、正しいプロンプトで取り出すことができる。
我々は、段階的に推論に基づくブラックボックス攻撃であるSleekを導入し、非学習障害を体系的に暴露する。
生成した敵のプロンプトのうち62.5%がWHPの未発表のラマから忘れられたハリー・ポッターの事実を回収し、50%は不当な知識の抑制を暴露した。
論文 参考訳（メタデータ） (2025-06-14T04:22:17Z) - Unlearning vs. Obfuscation: Are We Truly Removing Knowledge? [20.952703558942453]
難読化と難読化を正式に区別し,探索に基づく評価フレームワークを導入する。
自動生成された複数質問に対するモデル予測分布をフラット化する新しい未学習手法であるDF-MCQを提案する。
実験の結果,DF-MCQは90%以上の拒絶率とランダムな選択レベルの不確実性で未学習を実現することがわかった。
論文 参考訳（メタデータ） (2025-05-05T14:21:08Z) - To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。
知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。
未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
論文 参考訳（メタデータ） (2024-07-02T03:34:16Z) - UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。
未学習の概念を導入し、未学習の知識を文脈内で再導入する。
我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
論文 参考訳（メタデータ） (2024-06-27T10:24:35Z) - Large Scale Knowledge Washing [24.533316191149677]
大規模な言語モデルは、世界の知識を記憶する素晴らしい能力を示している。
本稿では,大規模な知識洗浄の問題を紹介し,膨大な事実知識の学習に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-26T23:29:49Z) - R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳（メタデータ） (2023-11-16T08:45:44Z) - Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。
具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。
いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-07-17T16:42:31Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。