論文の概要: ICCU: In-Context Continual Unlearning via Pattern-Induced Refusal Rules
- arxiv url: http://arxiv.org/abs/2605.27138v1
- Date: Tue, 26 May 2026 15:06:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.29891
- Title: ICCU: In-Context Continual Unlearning via Pattern-Induced Refusal Rules
- Title(参考訳): ICCU:パターン誘発拒否規則による文脈内連続的学習
- Authors: Ruihao Pan, Suhang Wang,
- Abstract要約: コンテキスト内連続的なアンラーニングフレームワークは、アンラーニングデータセットから読みやすいリファリングルールを誘導する。
ICCUは、実用性を維持しながらターゲットの知識を効果的に抑制し、シーケンシャルな要求をスケールし、パラフレーズとクロスランガルなクエリに対して堅牢である。
- 参考スコア(独自算出の注目度): 28.143025731350352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning aims to remove the influence of specific data from trained language models. In real-world deployments, unlearning requests often arrive sequentially, which challenges existing fine-tuning-based methods: fine-tuning each request is costly, accumulates utility loss, and may cause cross-request interference. To address these issues, we propose ICCU (In-Context Continual Unlearning), an in-context continual unlearning framework that induces readable refusal rules from unlearning datasets and applies them at inference time either as a filter or via the system prompt, without modifying model parameters. Because rules are accumulated as an order-independent union, ICCU is compositional and free of cross-request interference, and the original forget-set data can be discarded after rule induction. Extensive experiments show that ICCU effectively suppresses target knowledge while preserving utility, scales across sequential requests, and remains robust to paraphrased and cross-lingual queries.
- Abstract(参考訳): 機械学習は、訓練された言語モデルから特定のデータの影響を取り除くことを目的としている。
実際のデプロイメントでは、未学習のリクエストが順次到着し、既存の微調整ベースのメソッドに挑戦する。
これらの問題に対処するために、ICCU(In-Context Continual Unlearning)を提案する。これは、文脈内連続的学習フレームワークで、未学習データセットから読みやすい拒絶ルールを誘導し、モデルパラメータを変更することなく、フィルタまたはシステムプロンプトを介して推論時に適用する。
規則は順序に依存しない結合として蓄積されるため、ICCUは構成的であり、相互要求干渉がなく、元の忘れセットデータはルール誘導後に破棄することができる。
広汎な実験により、ICCUは実用性を維持しながらターゲットの知識を効果的に抑制し、シーケンシャルな要求をスケールし、パラフレーズとクロスランガルなクエリに対して頑健であることが示されている。
関連論文リスト
- CAP: Controllable Alignment Prompting for Unlearning in LLMs [19.554047742421197]
大規模言語モデル(LLM)は、未フィルタリングコーパスで訓練され、本質的に機密情報を保持するリスクを負う。
既存のパラメータ修正手法は、計算コストの増大、制御不能な境界の無視、モデルウェイトアクセスへの厳格な依存など、基本的な制限に直面している。
我々は、エンドツーエンドのプロンプト駆動型アンラーニングパラダイムである、Unlearningフレームワークのための制御可能なアライメント・プロンプトを提案する。
論文 参考訳(メタデータ) (2026-04-23T03:42:41Z) - CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge [39.26757541186985]
我々は,LLM知識の保存を保証した連続的学習をリアルタイムに提案する。
提案手法は,シャープな決定境界の形成を可能にするために設計されたデータセット上に文埋め込みモデルをトレーニングすることから始まる。
このような単純なアプローチであっても、CURaTEは既存の方法よりも効果的な忘れ方を実現する。
論文 参考訳(メタデータ) (2026-04-16T05:49:10Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳(メタデータ) (2026-01-29T17:48:56Z) - ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation [39.0731790601695]
連続的アンラーニング(CU)は、連続的学習フェーズで取得した特定の知識を逐次忘れることを目的としている。
既存の未学習メソッドの多くは、再トレーニングや微調整のために保持されたデータセットにアクセスする必要がある。
本稿では,ACU (Analytic Continual Unlearning) と呼ばれるCUの勾配のない新しい手法を提案する。
論文 参考訳(メタデータ) (2025-05-18T05:28:18Z) - Offline Critic-Guided Diffusion Policy for Multi-User Delay-Constrained Scheduling [29.431945795881976]
本稿では,新しいオフライン強化学習アルゴリズムである underlineScheduling を提案する。
プリコンパイルされたEmphofflineデータから、効率的なスケジューリングポリシを純粋に学習する。
我々は、SOCDは、部分的に観測可能で大規模な環境を含む、様々なシステム力学に耐性があることを示します。
論文 参考訳(メタデータ) (2025-01-22T15:13:21Z) - On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。
性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。
一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文 参考訳(メタデータ) (2024-11-05T00:16:01Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。
知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。
イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
論文 参考訳(メタデータ) (2024-07-25T07:09:35Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。