論文の概要: CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge

• arxiv url: http://arxiv.org/abs/2604.14644v1
• Date: Thu, 16 Apr 2026 05:49:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.744512
• Title: CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge
• Title（参考訳）: CURaTE:LLMの知識を確実に保存したリアルタイムの継続的アンラーニング
• Authors: Seyun Bae, Seokhan Lee, Eunho Yang,
• Abstract要約: 我々は,LLM知識の保存を保証した連続的学習をリアルタイムに提案する。 提案手法は,シャープな決定境界の形成を可能にするために設計されたデータセット上に文埋め込みモデルをトレーニングすることから始まる。 このような単純なアプローチであっても、CURaTEは既存の方法よりも効果的な忘れ方を実現する。
• 参考スコア（独自算出の注目度）: 39.26757541186985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The inability to filter out in advance all potentially problematic data from the pre-training of large language models has given rise to the need for methods for unlearning specific pieces of knowledge after training. Existing techniques overlook the need for continuous and immediate action, causing them to suffer from degraded utility as updates accumulate and protracted exposure of sensitive information. To address these issues, we propose Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge (CURaTE). Our method begins by training a sentence embedding model on a dataset designed to enable the formation of sharp decision boundaries for determining whether a given input prompt corresponds to any stored forget requests. The similarity of a given input to the forget requests is then used to determine whether to answer or return a refusal response. We show that even with such a simple approach, not only does CURaTE achieve more effective forgetting than existing methods, but by avoiding modification of the language model parameters, it also maintains near perfect knowledge preservation over any number of updates and is the only method capable of continual unlearning in real-time.
• Abstract（参考訳）: 大規模言語モデルの事前学習から潜在的に問題となるすべてのデータを事前にフィルタリングできないことが、訓練後に特定の知識を学習する手法の必要性を生じさせている。 既存の技術は、継続的かつ即時的なアクションの必要性を見落とし、更新が蓄積され機密情報の露出が引き延ばされるにつれて、それらが劣化したユーティリティに悩まされる。 これらの課題に対処するために,LLM知識の保証保存を伴う実時間における連続的アンラーニングを提案する。 提案手法は,与えられた入力プロンプトが記憶されている任意の忘れた要求に対応するかどうかを決定するためのシャープな決定境界の形成を可能にするために設計されたデータセット上に文埋め込みモデルをトレーニングすることから始まる。 与えられた入力と忘れられた要求との類似性は、返信するか拒否応答を返すかを決定するために使用される。 このような単純なアプローチであっても、CURaTEは既存の手法よりも効果的な忘れ方を実現するだけでなく、言語モデルパラメータの変更を避けることで、更新数に対してほぼ完璧な知識保存を維持し、リアルタイムに未学習を継続できる唯一の方法であることを示す。

関連論文リスト

• DRAGON: Guard LLM Unlearning in Context via Negative Detection and Reasoning [15.58340591381191]
  大規模言語モデル(LLM)の学習は、プライベートデータ保護と有害な知識の除去に不可欠である。 既存のアプローチのほとんどは、未学習の効率と一般的な言語能力のバランスをとるために微調整に依存している。 本稿では,これらの制限を克服するために,Dutture-Reasoning Augmented Generation (DRAGON)を提案する。
  論文  参考訳（メタデータ） (2025-11-08T01:13:28Z)
• Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
  Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。 本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。 CUREは、リークのモデル出力を確認し、安全な応答に修正する。
  論文  参考訳（メタデータ） (2025-09-30T09:07:45Z)
• ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation [39.0731790601695]
  連続的アンラーニング(CU)は、連続的学習フェーズで取得した特定の知識を逐次忘れることを目的としている。 既存の未学習メソッドの多くは、再トレーニングや微調整のために保持されたデータセットにアクセスする必要がある。 本稿では,ACU (Analytic Continual Unlearning) と呼ばれるCUの勾配のない新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:28:18Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models [37.02290559379761]
  Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。 このことに動機づけられた、適応検索拡張生成(ARAG)研究は、クエリによって要求される知識が LLM に欠如している場合にのみ検索する。
  論文  参考訳（メタデータ） (2024-04-04T15:21:22Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。