論文の概要: Making LLMs Truly Forget: Deep Unlearning by Searching, Selecting, and Severing Knowledge Paths

• arxiv url: http://arxiv.org/abs/2609.34442v1
• Date: Mon, 28 Sep 2026 06:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:32:37.671448
• Title: Making LLMs Truly Forget: Deep Unlearning by Searching, Selecting, and Severing Knowledge Paths
• Title（参考訳）: LLMを真に忘れる - 知識パスの検索,選択,実行による深層学習
• Abstract要約: 既存の未学習アルゴリズムと互換性のある一般的な深層学習フレームワークを提案する。 提案手法は,有意な推論経路を発見するために,明示的応答と潜在的内部表現の両方を適応的に探索する。 無関係な知識を保ちながら、すべての回復経路を断ち切るために、グラフの最小カットを適用します。
• 参考スコア（独自算出の注目度）: 16.005177508453773
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While an unlearned language model may no longer recall a fact directly, the fact often remains recoverable through multi-hop reasoning over related knowledge. Most existing unlearning techniques overlook this vulnerability, targeting facts in isolation while leaving their supporting knowledge intact. To achieve true forgetting, we propose a general deep unlearning framework compatible with existing unlearning algorithms. Our approach adaptively explores both explicit responses and latent internal representations to discover valid reasoning paths, compiles them into a confidence-aware supporting subgraph, and we apply a graph minimum cut to sever all recovery paths while preserving unrelated knowledge. To rigorously evaluate deep unlearning, we introduce a model-specific pipeline that extracts and completes knowledge graphs from raw text, filtering them by calibrated model confidence to reflect what the model genuinely retains. Comprehensive experiments demonstrate that selectively unlearning supporting knowledge yields substantially deeper forgetting than superficial methods while preserving model utility, highlighting that genuine unlearning requires breaking the relational structures that enable factual reconstruction.
• Abstract（参考訳）: 未学習の言語モデルでは、事実を直接思い出すことはできないかもしれないが、その事実は、関連する知識に関するマルチホップ推論を通じて回復可能であることが多い。 既存の未学習のテクニックの多くは、この脆弱性を見落としており、サポート済みの知識をそのまま残しながら、事実を個別にターゲットしている。 そこで本研究では,既存の未学習アルゴリズムと互換性のある一般深層学習フレームワークを提案する。 提案手法は,有意な推論経路を発見するために,明示的な応答と潜伏した内部表現の両方を適応的に探索し,それらを信頼を意識したサブグラフにコンパイルし,無関係な知識を保ちながら,すべての回復経路を切断するグラフ最小カットを適用した。 深層学習を厳密に評価するために,原文から知識グラフを抽出・完成するモデル固有パイプラインを導入する。 包括的実験により、知識を選択的に非学習すると、表層的な方法よりもはるかに深く忘れられ、モデルユーティリティを保ちながら、真の非学習は事実の再構築を可能にする関係構造を破ることが必要であることが示された。

関連論文リスト

• KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
  大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。 LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。 本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
  論文  参考訳（メタデータ） (2026-02-22T17:16:49Z)
• Understanding Empirical Unlearning with Combinatorial Interpretability [11.245092170419227]
  最近開発された解釈可能性の枠組みは、モデル重みで符号化された知識を直接検査することを可能にする。 本研究では,解釈可能性設定のベースライン未学習手法を再現し,その動作を2次元に沿って検討する。 実験の結果は、学習にもかかわらず知識がいかに持続するか、いつ再浮上するか、完全に解釈可能な設定に光を当てた。
  論文  参考訳（メタデータ） (2026-02-22T14:51:48Z)
• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• Retrieval-augmented Prompt Learning for Pre-trained Foundation Models [101.13972024610733]
  本稿では,記憶と一般化のバランスをとることを目的としたRetroPromptを提案する。 従来のプロンプトメソッドとは異なり、RetroPromptは入力、トレーニング、推論ステージ全体にわたって検索メカニズムを組み込んでいる。 提案手法の優れた性能を示すために,自然言語処理やコンピュータビジョンタスクにまたがる様々なデータセットに関する総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-12-23T08:15:34Z)
• Forget to Know, Remember to Use: Context-Aware Unlearning for Large Language Models [17.249936460923045]
  大規模な言語モデルは、機密情報や削除が必要な時代遅れの知識を符号化することができる。 Unlearningは、モデルユーティリティ全体を保持しながら、特定の知識を削除することを目的とした、完全なリトレーニングの効率的な代替手段である。
  論文  参考訳（メタデータ） (2025-10-20T15:03:45Z)
• Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
  Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。 提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T12:15:19Z)
• Knowledge Homophily in Large Language Models [75.12297135039776]
  大規模言語モデル(LLM)における類似知識のホモフィリパターンについて検討する。 我々は LLM の知識を三重項レベルと実体レベルの両方の知識チェックを通じてグラフ表現にマッピングする。 このホモフィリ原理により、三重項の実体レベルの知識度スコアを推定するグラフニューラルネットワーク(GNN)回帰モデルを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:40:27Z)
• Prompt Attacks Reveal Superficial Knowledge Removal in Unlearning Methods [0.9999629695552196]
  素早い攻撃下では,特定の機械学習手法が失敗する可能性があることを実証する。 出力ベース,ロジットベース,プローブ分析を用いて,3つのモデルファミリーにまたがる8つのアンラーニング手法を体系的に評価した。
  論文  参考訳（メタデータ） (2025-06-11T23:36:30Z)
• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。