論文の概要: Graph-Guided Selective Unlearning for Language Models: Controlling Support Routes Beyond Forget Seeds

• arxiv url: http://arxiv.org/abs/2608.26743v1
• Date: Thu, 27 Aug 2026 07:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.290704
• Title: Graph-Guided Selective Unlearning for Language Models: Controlling Support Routes Beyond Forget Seeds
• Title（参考訳）: グラフガイドによる言語モデル選択学習: 種子以外のサポート経路の制御
• Abstract要約: GRAPHSUは、種を忘れることなく削除範囲を広げるグラフ誘導コントローラである。 すべての削除設定において、実用可能なソフトリークが最も低い。
• 参考スコア（独自算出の注目度）: 5.308891171424379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprises fine-tune language models on proprietary data that may later require removal due to privacy, contractual, or compliance obligations. Selective unlearning removes requested knowledge while preserving model utility, offering a practical alternative to full retraining, but existing methods treat the explicitly identified forget examples as the complete deletion scope. This is insufficient when target knowledge remains recoverable through paraphrases, aliases, or neighboring training examples. We propose GRAPHSU, a graph-guided controller that expands the deletion scope beyond forget seeds by constructing a weighted support-route graph, propagating deletion pressure through it, and applying graded forgetting strengths to high-risk neighbors. On the Task of Fictitious Unlearning (TOFU), a synthetic author-profile question-answering benchmark, and PISTOL, a structural-unlearning benchmark built around interconnected factual samples, with GPT-2 Medium and Llama-3.2-3B-Instruct, GRAPHSU achieves the lowest utility-feasible soft leakage across all deletion settings, reducing leakage by up to 49.5 percentage points over a matched seed-only baseline, demonstrating that effective enterprise unlearning requires controlling support routes, not just forget seeds.
• Abstract（参考訳）: 企業は、プライバシ、契約、コンプライアンス義務による削除を必要とするかもしれないプロプライエタリなデータに基づいて、きめ細やかな言語モデルを作成する。 選択的アンラーニングは、モデルユーティリティを保持しながら要求された知識を排除し、完全なリトレーニングに代わる実用的な代替手段を提供するが、既存のメソッドは、明確に特定された忘れの例を完全な削除範囲として扱う。 これは、パラフレーズ、エイリアス、または近隣のトレーニング例を通じて、ターゲット知識が回復可能なままである場合、不十分である。 重み付き支持経路グラフを構築し、それを通して削除圧力を伝播させ、高リスク隣人に格付けされた消去強度を適用することにより、種を忘れない範囲を拡大するグラフ誘導型制御器である GraphSU を提案する。 Task of Fictitious Unlearning (TOFU) と、相互接続された事実サンプルを中心に構築された構造的未学習ベンチマークであるPISTOLでは、GPT-2 Medium と Llama-3.2-3B-Instruct が全ての削除設定で最低限の実用性を有するソフトリークを達成し、マッチしたシード専用ベースライン上で最大49.5ポイントのリークを低減し、効果的なエンタープライズ未学習がシードを忘れるのではなくサポートルートを制御する必要があることを示した。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• What to Forget in Unlearning? Forget Set Curation for Language Models [24.23267387545857]
  依頼者が、どの曲、文書、引用文、あるいはほぼ重複しているかを知ることなく、曲や本の再生を中止するよう、モデルに求める方法を示す。 そこで我々はCleanSlate, 曲や本に対する冗長な出力抑制のためのベンチマーク, モデル固有の抽出プロファイル, コンテンツ基底QA, 能力保持評価を紹介する。
  論文  参考訳（メタデータ） (2026-08-14T19:51:53Z)
• Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
  エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。 本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
  論文  参考訳（メタデータ） (2026-05-06T10:03:06Z)
• LLM Unlearning on Noisy Forget Sets: A Study of Incomplete, Rewritten, and Watermarked Data [69.5099112089508]
  大規模言語モデル(LLM)は、顕著な生成能力を示すが、機密データを記憶することで倫理的およびセキュリティ上の懸念を引き起こす。 この研究は、ノイズのある忘れセットと呼ばれる、摂動的または低忠実な忘れデータの下での未学習に関する最初の研究を提示する。 コアセマンティック信号が保存されている場合、未学習は摂動に対して驚くほど堅牢である。
  論文  参考訳（メタデータ） (2025-10-10T05:10:49Z)
• Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
  大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
  論文  参考訳（メタデータ） (2025-08-28T05:45:40Z)
• RULE: Reinforcement UnLEarning Achieves Forget-Retain Pareto Optimality [24.299312059430704]
  Unlearningは、スクラッチからトレーニングしたり、全体的なユーティリティを劣化させたりすることなく、モデルから特定の情報を選択的に削除するタスクである。 既存の手法は、しばしばデータセットを大規模に忘れ、保持し、不自然な応答、一般化の貧弱、破滅的なユーティリティ損失に悩まされる。 本稿では,非学習を拒絶境界最適化問題として定式化する効率的なフレームワークであるReinforcement UnLearning (RULE)を提案する。
  論文  参考訳（メタデータ） (2025-06-08T14:38:39Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• SecureCut: Federated Gradient Boosting Decision Trees with Efficient Machine Unlearning [10.011146979811752]
  VFL(Vertical Federated Learning)では、複数のパーティがモデルトレーニングにプライベート機能を提供している。 VFLでは、データ削除(textitmachine unlearning)は、プライバシの保証の下で、すべてのサンプルから特定の機能を削除する必要があることが多い。 我々は,スクラッチから再トレーニングを必要とせずに,テクティスタンス・アンラーニングとテクティファチュア・アンラーニングの両方を効果的に実現する,新しいグラディエント・ブースティング・決定木(GBDT)フレームワークであるmethnameを提案する。
  論文  参考訳（メタデータ） (2023-11-22T05:38:53Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。