論文の概要: What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations

• arxiv url: http://arxiv.org/abs/2610.41616v1
• Date: Fri, 30 Oct 2026 11:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.694482
• Title: What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations
• Title（参考訳）: LLMは何を忘れるべきか:知識協会の強化的アンラーニング
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練中に広範囲の事実知識を取得する。 既存のアプローチは通常、忘れられる知識を明確に特定することなく、レスポンス全体を最適化する。 本稿では,忘れられた知識の関連性を抑えつつ,保持した知識の関連性を抑える統合強化学習フレームワークであるKRU(Knowledge Association Reinforcement Unlearning)を提案する。
• 参考スコア（独自算出の注目度）: 44.46336471400954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) acquire extensive factual knowledge during pre-training, which may include sensitive, private, or copyrighted information, motivating the development of unlearning methods that selectively remove specific knowledge while preserving general capabilities. However, existing approaches typically optimize entire responses without explicitly identifying the knowledge to be forgotten, resulting in coarse and uncontrolled forgetting. To address this, we revisit the forgetting target of LLM unlearning and introduce Knowledge Association (KA), which characterizes the association between a query context and its target knowledge and is instantiated by the corresponding conditional predictive distribution, as the fundamental target of forgetting. Based on KA, we propose Knowledge Association Reinforcement Unlearning (KARU), a unified reinforcement learning framework that suppresses forgotten knowledge associations while preserving retained ones. Specifically, KARU derives complementary mechanisms from the KA-based formulation: token-level reward construction for finer-grained forgetting supervision, distribution-level regularization for precise knowledge suppression, and proximity-aware retain sampling to mitigate collateral degradation. Experiments across diverse LLMs on representative benchmarks demonstrate that KARU consistently improves forgetting effectiveness over existing baselines while maintaining comparable retention performance and general utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中に、機密性、プライベート、または著作権のある情報を含む広範な事実知識を取得し、一般的な能力を維持しながら特定の知識を選択的に除去する未学習の手法の開発を動機付けている。 しかし、既存のアプローチは、忘れられる知識を明確に特定することなく、応答全体を最適化する。 そこで我々は,LLMアンラーニングの忘れる対象を再考し,クエリコンテキストとその対象知識の関係を特徴付ける知識アソシエーション(KA)を導入し,それに対応する条件予測分布を基本ターゲットとしてインスタンス化する。 KAに基づいて,忘れられた知識の関連性を抑えつつ,保持した知識の関連性を抑える統合強化学習フレームワークであるKnowledge Association Reinforcement Unlearning(KARU)を提案する。 具体的には, トークンレベルの報酬構成, 精密知識抑制のための分布レベルの正規化, 横方向劣化を緩和するための近接型保持サンプリングなどである。 代表ベンチマークにおける多種多様なLLMに対する実験により、KARUは既存のベースラインよりも、同等の保持性能と汎用性を保ちながら、忘れることの効率を一貫して改善することを示した。

関連論文リスト

• KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
  大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。 LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。 本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
  論文  参考訳（メタデータ） (2026-02-22T17:16:49Z)
• Explainable LLM Unlearning Through Reasoning [23.128471655470793]
  これらの問題は、モデルがいつ、どのように解放されるべきかについて、明確なガイダンスがないことに起因する、と私たちは主張する。 本研究では,学習対象の特定範囲と学習後応答を満足する新たな未学習対象,推論に基づく未学習対象を提案する。 一般的な能力を維持しながら、より信頼性の高いアンラーニングを実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T06:33:07Z)
• Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
  既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。 KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。 OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T10:03:23Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
  汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。 そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。 提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T15:20:13Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。