論文の概要: LLM Unlearning via Loss Adjustment with Only Forget Data
- arxiv url: http://arxiv.org/abs/2410.11143v1
- Date: Mon, 14 Oct 2024 23:43:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:04:35.843873
- Title: LLM Unlearning via Loss Adjustment with Only Forget Data
- Title（参考訳）: LLM Unlearning via Loss Adjustment with only Forget Data
- Authors: Yaxuan Wang, Jiaheng Wei, Chris Yuhao Liu, Jinlong Pang, Quan Liu, Ankit Parag Shah, Yujia Bao, Yang Liu, Wei Wei,
- Abstract要約: これらの問題に対処する"フラットな"損失調整アプローチであるLos AjustmenT (FLAT) のみを導入する。
実験結果から,本手法は既存手法と比較して,非学習性能が優れていることが示された。
- 参考スコア（独自算出の注目度）: 20.310423152885217
- License:
- Abstract: Unlearning in Large Language Models (LLMs) is essential for ensuring ethical and responsible AI use, especially in addressing privacy leak, bias, safety, and evolving regulations. Existing approaches to LLM unlearning often rely on retain data or a reference LLM, yet they struggle to adequately balance unlearning performance with overall model utility. This challenge arises because leveraging explicit retain data or implicit knowledge of retain data from a reference LLM to fine-tune the model tends to blur the boundaries between the forgotten and retain data, as different queries often elicit similar responses. In this work, we propose eliminating the need to retain data or the reference LLM for response calibration in LLM unlearning. Recognizing that directly applying gradient ascent on the forget data often leads to optimization instability and poor performance, our method guides the LLM on what not to respond to, and importantly, how to respond, based on the forget data. Hence, we introduce Forget data only Loss AjustmenT (FLAT), a "flat" loss adjustment approach which addresses these issues by maximizing f-divergence between the available template answer and the forget answer only w.r.t. the forget data. The variational form of the defined f-divergence theoretically provides a way of loss adjustment by assigning different importance weights for the learning w.r.t. template responses and the forgetting of responses subject to unlearning. Empirical results demonstrate that our approach not only achieves superior unlearning performance compared to existing methods but also minimizes the impact on the model's retained capabilities, ensuring high utility across diverse tasks, including copyrighted content unlearning on Harry Potter dataset and MUSE Benchmark, and entity unlearning on the TOFU dataset.
- Abstract（参考訳）: 大規模言語モデル(LLM)のアンラーニングは、倫理的かつ責任あるAIの使用を保証するために不可欠である。
既存のLLMアンラーニングアプローチは、データ保持や参照LLMに依存していることが多いが、学習されていないパフォーマンスと全体のモデルユーティリティとの適切なバランスに苦慮している。
この課題は、参照LLMからデータを保持する明示的な保持データや暗黙の知識を活用することで、モデルが忘れられたデータと保持データの境界を曖昧にする傾向があるためである。
本研究では,LLMアンラーニングにおける応答校正のためのデータや参照LDMの保持の必要性を排除することを提案する。
そこで本手法では, 誤りデータに勾配の上昇を直接適用することで, 最適化の不安定さや性能の低下を招き, 応答しないもの, および, 応答方法についてLLMを導出する。
そこで我々は,これらの問題に対処する"フラットな"損失調整手法であるLos AjustmenT (FLAT) のみを導入する。
定義されたf-分節の変分形式は、理論的には、学習w.r.t.テンプレート応答と学習対象の応答の忘れについて、異なる重み付けを割り当てることで、損失調整の方法を提供する。
実験の結果,提案手法は既存の手法に比べて優れた未学習性能を実現するだけでなく,モデルが保持する能力への影響を最小限に抑え,Harry PotterデータセットやMUSEベンチマーク上での著作権付きコンテンツアンラーニング,TOFUデータセット上でのエンティティアンラーニングなど,さまざまなタスクにまたがる高いユーティリティを保証する。
関連論文リスト
- WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models [26.07431044262102]
本稿では,大規模言語モデル(LLM)におけるモデルウェイトと未学習プロセスの相互作用について考察する。
重みの「影響」と「影響」とを相互に関連付けることによって,重みの「影響」を記憶・保持するLLMアンラーニング手法であるWAGLEを設計する。
論文 参考訳（メタデータ） (2024-10-23T02:22:07Z) - MEOW: MEMOry Supervised LLM Unlearning Via Inverted Facts [29.593170782882563]
大きな言語モデル(LLM)は機密情報を記憶し、潜在的な誤用に対する懸念を引き起こす。
以前のプラクティスでは、実用性、効率性、堅牢性という3つの大きな課題に直面しています。
勾配降下に基づくアンラーニング手法であるMEOWを提案する。
論文 参考訳（メタデータ） (2024-09-18T09:55:48Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs [31.16117964915814]
訓練済みまたは微調整済みのモデルに格納された特定のデータを消去しようとする機械学習は、LLMにとって重要な保護措置として登場した。
構造的アンラーニング手法の開発を容易にするため,マルチシナリオデータセットをコンパイルするパイプラインであるPISTOLを提案する。
Llama2-7BモデルとMistral-7Bモデルの両方で4つの異なる未学習手法を用いてベンチマークを行う。
論文 参考訳（メタデータ） (2024-06-24T17:22:36Z) - SNAP: Unlearning Selective Knowledge in Large Language Models with Negative Instructions [37.172662930947446]
命令追従型大規模言語モデル(LLM)は、個人または著作権のある情報を故意に開示する。
SNAPは,情報を選択的に学習するための革新的なフレームワークである。
我々は,NLPベンチマークにおけるフレームワークの評価を行い,提案手法が元のLLM能力を維持していることを示す。
論文 参考訳（メタデータ） (2024-06-18T06:54:05Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。
LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。
GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
論文 参考訳（メタデータ） (2024-03-22T08:57:07Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-05T19:32:01Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。