論文の概要: Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning

• arxiv url: http://arxiv.org/abs/2609.29711v1
• Date: Mon, 31 Aug 2026 13:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.116093
• Title: Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning
• Title（参考訳）: 知識とプライバシの疎結合:LLM連続学習のためのタスク後自己拡張リプレイ
• Abstract要約: プライバシー保護型連続学習(PPCL)は、シーケンシャルなタスクにまたがる有用な知識を維持しつつ、センシティブなコンテンツの再生を減らさなければならない。 本稿では,まず学習後の分布を凍結し,この安定参照に対して選択的に補正する保持補正分解法であるSPARKを提案する。
• 参考スコア（独自算出の注目度）: 37.527092967751194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-preserving continual learning (PPCL) must reduce the reproduction of sensitive content while retaining useful knowledge across sequential tasks. Formal privacy guarantees characterize randomized mechanisms, whereas operational output control concerns whether a trained model selectively reduces the likelihood of sensitive content in its outputs. In this work, we investigate the latter together with continual-learning utility under realistic task evolution. Retention and privacy correction operate at different granularities: task acquisition requires broad preservation of current- and old-task behavior, whereas privacy correction targets sparse annotated positions. Joint optimization leaves the current-task preservation target continually changing. We propose SPARK, a retention-correction decomposition that first freezes the learned post-task distribution and then applies selective correction around this stable reference. Self-Distillation Replay learns the current task while distilling behavior from previous tasks, and Post-Task Privacy Correction reduces annotated-PII likelihood while anchoring current- and old-task non-PII behavior to the resulting checkpoint. Extensive evaluations demonstrate that SPARK achieves effective selective PII suppression while preserving strong continual-learning utility and knowledge retention across diverse settings. Code and data will be released upon publication.
• Abstract（参考訳）: プライバシー保護型連続学習(PPCL)は、シーケンシャルなタスクにまたがる有用な知識を維持しつつ、センシティブなコンテンツの再生を減らさなければならない。 形式的プライバシはランダム化機構を特徴付けることを保証するが、オペレーショナルアウトプット制御は、トレーニングされたモデルがその出力におけるセンシティブなコンテンツの可能性を選択的に減少させるかどうかを懸念する。 本研究では,現実的なタスク進化の過程において,後者と連続学習ユーティリティを併用して検討する。 タスク取得には、現在のタスクと古いタスクの動作を広範囲に保存する必要がある。 共同最適化は、現在のタスク保存ターゲットを継続的に変更する。 本稿では,まず学習後の分布を凍結し,この安定参照に対して選択的に補正する保持補正分解法であるSPARKを提案する。 自己蒸留リプレイは、以前のタスクから振る舞いを蒸留しながら現在のタスクを学習し、タスク後プライバシ補正は、現在のタスクと古いタスク非PIIの動作をチェックポイントに固定しながら、注釈付きPIIの可能性を低減する。 総合評価の結果,SPARKは多種多様な環境にまたがって強力な継続学習ユーティリティと知識保持を維持しつつ,効果的な選択的PII抑制を実現することが示された。 コードとデータは公開時に公開される。

関連論文リスト

• To Retain or to Adapt? Generalizing Continual Learning [39.95178050304739]
  我々は、静止しない環境において、保持の優先順位付けはリアルタイム適応を妨げると論じている。 環境学と学習学の相互作用が支配するオンライン最適化問題としてCLを定式化する。 本稿では,予測連続学習と呼ぶ連続学習アルゴリズムの一般クラスを提案する。
  論文  参考訳（メタデータ） (2026-07-06T20:11:53Z)
• It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs [73.46918128880786]
  タスク解決から情報抑制を分離する自己蒸留フレームワーク。 タスク解決から情報抑制を分離する自己蒸留フレームワーク。
  論文  参考訳（メタデータ） (2026-05-18T13:57:44Z)
• Continual Learning through Control Minimization [3.23400924761092]
  タスクが逐次的にトレーニングされる場合、ニューラルネットワークにとって破滅的な忘れは依然として根本的な課題だ。 学習と保存の信号が競合する制御問題として継続学習を再構築する。 我々のフレームワークは、真の事前タスクの曲率を回復し、タスクの識別を可能にし、リプレイなしで標準ベンチマークにおける既存のメソッドよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-02-04T13:34:26Z)
• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization [24.143811670210546]
  生成体験 リプレイは、忘れずに蓄積的に新しいタスクを学ぶという課題に対処する。 生成的再生に用いる3つの学習目標語を微調整するための時間認識正規化手法を提案する。 実験結果から,本手法は脳に触発された連続学習者の限界を,そのような厳密な条件下で押し上げることが示唆された。
  論文  参考訳（メタデータ） (2023-10-05T21:07:45Z)
• Consistency is the key to further mitigating catastrophic forgetting in continual learning [14.674494335647841]
  Experience Replay (ER) は低バッファ状態と長いタスクシーケンスではうまく動作しない。 ソフトターゲットの予測における一貫性は、ERが以前のタスクに関連する情報を保存するのに役立つ。 自己教師付きプレテキストタスクとして整合性正規化をキャストすることを提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。