論文の概要: RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.01983v1
• Date: Tue, 4 Jun 2024 05:51:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:50:34.156696
• Title: RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models
• Title（参考訳）: RKLD:大規模言語モデルにおける未学習個人情報に対する逆KL-Divergenceに基づく知識蒸留
• Authors: Bichen Wang, Yuzhe Zi, Yixin Sun, Yanyan Zhao, Bing Qin,
• Abstract要約: 我々は,大規模言語モデル(LLM)のための新しいtextbfReverse textbfKL-Divergence-based Knowledge textbfDistillation unlearningアルゴリズムであるRKLDを提案する。 我々は,実験におけるモデルの有用性を効果的に維持し,品質を著しく忘れることを実現した。
• 参考スコア（独自算出の注目度）: 23.91608718129775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the passage of the Right to Be Forgotten (RTBF) regulations and the scaling up of language model training datasets, research on model unlearning in large language models (LLMs) has become more crucial. Before the era of LLMs, machine unlearning research focused mainly on classification tasks in models with small parameters. In these tasks, the content to be forgotten or retained is clear and straightforward. However, as parameter sizes have grown and tasks have become more complex, balancing forget quality and model utility has become more challenging, especially in scenarios involving personal data instead of classification results. Existing methods based on gradient ascent and its variants often struggle with this balance, leading to unintended information loss or partial forgetting. To address this challenge, we propose RKLD, a novel \textbf{R}everse \textbf{KL}-Divergence-based Knowledge \textbf{D}istillation unlearning algorithm for LLMs targeting the unlearning of personal information. Through RKLD, we achieve significant forget quality and effectively maintain the model utility in our experiments.
• Abstract（参考訳）: RTBF(Right to Be Forgotten)規制の成立と、言語モデルトレーニングデータセットのスケールアップにより、大規模言語モデル(LLM)におけるモデルアンラーニングの研究がより重要になっている。 LLMの時代以前、機械学習の研究は主に小さなパラメータを持つモデルの分類タスクに焦点を当てていた。 これらのタスクでは、忘れられるか、保持されるコンテンツは明確で簡単です。 しかし,パラメータのサイズが拡大し,タスクが複雑化するにつれて,特に分類結果ではなく個人データを含むシナリオにおいて,品質とモデルの有用性のバランスをとることが困難になっている。 勾配上昇に基づく既存手法とその変種は、しばしばこのバランスに苦しむため、意図しない情報損失や部分的な忘れが生じる。 この課題に対処するために,個人情報の未学習をターゲットとしたLLMのための,新しいRKLD, RKLD, a novel \textbf{R}everse \textbf{KL}-divergence-based Knowledge \textbf{D}istillation unlearning Algorithmを提案する。 RKLDを通し, 精度の大幅な向上を実現し, 実験におけるモデルの有用性を効果的に維持する。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Digital Forgetting in Large Language Models: A Survey of Unlearning Methods [3.6070136675401656]
  この調査は、大きな言語モデル(LLM)の忘れ方に焦点を当てている。 まず、LLMのコンポーネント、LLMのタイプ、通常のトレーニングパイプラインなど、LLMのバックグラウンドを提供します。 次に,デジタル忘れることの動機,タイプ,望ましい特性について述べる。 第3に,LLMにおけるデジタル忘れへのアプローチを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:01:18Z)
• Unlearnable Algorithms for In-context Learning [36.895152458323764]
  本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。 タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。 本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:43:04Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。