論文の概要: RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models
- arxiv url: http://arxiv.org/abs/2406.01983v1
- Date: Tue, 4 Jun 2024 05:51:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 17:50:34.156696
- Title: RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models
- Title（参考訳）: RKLD:大規模言語モデルにおける未学習個人情報に対する逆KL-Divergenceに基づく知識蒸留
- Authors: Bichen Wang, Yuzhe Zi, Yixin Sun, Yanyan Zhao, Bing Qin,
- Abstract要約: 我々は,大規模言語モデル(LLM)のための新しいtextbfReverse textbfKL-Divergence-based Knowledge textbfDistillation unlearningアルゴリズムであるRKLDを提案する。
我々は,実験におけるモデルの有用性を効果的に維持し,品質を著しく忘れることを実現した。
- 参考スコア（独自算出の注目度）: 23.91608718129775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the passage of the Right to Be Forgotten (RTBF) regulations and the scaling up of language model training datasets, research on model unlearning in large language models (LLMs) has become more crucial. Before the era of LLMs, machine unlearning research focused mainly on classification tasks in models with small parameters. In these tasks, the content to be forgotten or retained is clear and straightforward. However, as parameter sizes have grown and tasks have become more complex, balancing forget quality and model utility has become more challenging, especially in scenarios involving personal data instead of classification results. Existing methods based on gradient ascent and its variants often struggle with this balance, leading to unintended information loss or partial forgetting. To address this challenge, we propose RKLD, a novel \textbf{R}everse \textbf{KL}-Divergence-based Knowledge \textbf{D}istillation unlearning algorithm for LLMs targeting the unlearning of personal information. Through RKLD, we achieve significant forget quality and effectively maintain the model utility in our experiments.
- Abstract（参考訳）: RTBF(Right to Be Forgotten)規制の成立と、言語モデルトレーニングデータセットのスケールアップにより、大規模言語モデル(LLM)におけるモデルアンラーニングの研究がより重要になっている。
LLMの時代以前、機械学習の研究は主に小さなパラメータを持つモデルの分類タスクに焦点を当てていた。
これらのタスクでは、忘れられるか、保持されるコンテンツは明確で簡単です。
しかし,パラメータのサイズが拡大し,タスクが複雑化するにつれて,特に分類結果ではなく個人データを含むシナリオにおいて,品質とモデルの有用性のバランスをとることが困難になっている。
勾配上昇に基づく既存手法とその変種は、しばしばこのバランスに苦しむため、意図しない情報損失や部分的な忘れが生じる。
この課題に対処するために,個人情報の未学習をターゲットとしたLLMのための,新しいRKLD, RKLD, a novel \textbf{R}everse \textbf{KL}-divergence-based Knowledge \textbf{D}istillation unlearning Algorithmを提案する。
RKLDを通し, 精度の大幅な向上を実現し, 実験におけるモデルの有用性を効果的に維持する。
関連論文リスト
- CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。
ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
論文 参考訳（メタデータ） (2024-10-08T10:26:22Z) - Digital Forgetting in Large Language Models: A Survey of Unlearning Methods [3.6070136675401656]
この調査は、大きな言語モデル(LLM)の忘れ方に焦点を当てている。
まず、LLMのコンポーネント、LLMのタイプ、通常のトレーニングパイプラインなど、LLMのバックグラウンドを提供します。
次に,デジタル忘れることの動機,タイプ,望ましい特性について述べる。
第3に,LLMにおけるデジタル忘れへのアプローチを紹介する。
論文 参考訳（メタデータ） (2024-04-02T16:01:18Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳（メタデータ） (2024-02-02T12:34:09Z) - Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。
タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。
本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文 参考訳（メタデータ） (2024-02-01T16:43:04Z) - EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳（メタデータ） (2024-01-11T04:59:44Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。
より小さな言語モデルにLPMを蒸留するKD手法を提案する。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
論文 参考訳（メタデータ） (2023-06-14T14:44:03Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:00:00Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。