論文の概要: On Large Language Model Continual Unlearning

• arxiv url: http://arxiv.org/abs/2407.10223v2
• Date: Mon, 03 Mar 2025 01:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:10:06.390202
• Title: On Large Language Model Continual Unlearning
• Title（参考訳）: 大規模言語モデルの継続学習について
• Authors: Chongyang Gao, Lixu Wang, Kaize Ding, Chenkai Weng, Xiao Wang, Qi Zhu,
• Abstract要約: モデルの安全性とセキュリティの代表的なアプローチとして、機械学習が登場した。 これらの手法は、現実世界のシナリオにおける未学習の要求が継続的に発生していると十分には考えていない。 要求されたデータを継続的に学習するための直交型ローランクアダプタ(LoRA)と,入力データと非学習データとの類似性を計測するアウトオフオフ分布検出器を提案する。
• 参考スコア（独自算出の注目度）: 35.49718871265512
• License:
• Abstract: While large language models have demonstrated impressive performance across various domains and tasks, their security issues have become increasingly severe. Machine unlearning has emerged as a representative approach for model safety and security by removing the influence of undesired data on the target model. However, these methods do not sufficiently consider that unlearning requests in real-world scenarios are continuously emerging, especially in the context of LLMs, which may lead to accumulated model utility loss that eventually becomes unacceptable. Moreover, existing LLM unlearning methods often ignore previous data access limitations due to privacy concerns and copyright protection. Without previous data, the utility preservation during unlearning is much harder. To overcome these challenges, we propose the OOO framework that includes an Orthogonal low-rank adapter (LoRA) for continually unlearning requested data and an Out-Of-Distribution (OOD) detector to measure the similarity between input and unlearning data. The orthogonal LoRA achieves parameter disentanglement among continual unlearning requests. The OOD detector is trained with a novel contrastive entropy loss and utilizes a glocal-aware scoring mechanism. During inference, our OOO framework can decide whether and to what extent to load the unlearning LoRA based on the OOD detector's predicted similarity between the input and the unlearned knowledge. Notably, OOO's effectiveness does not rely on any retained data. We conducted extensive experiments on OOO and state-of-the-art LLM unlearning methods across three tasks and seven datasets. The results indicate that OOO consistently achieves the best unlearning effectiveness and utility preservation, especially when facing continuous unlearning requests. The source codes can be found at https://github.com/GCYZSL/O3-LLM-UNLEARNING.
• Abstract（参考訳）: 大規模な言語モデルは、さまざまなドメインやタスクで素晴らしいパフォーマンスを示しているが、セキュリティ問題はますます深刻になっている。 マシン・アンラーニングは、望ましくないデータが対象モデルに与える影響を取り除くことによって、モデル安全性とセキュリティの代表的なアプローチとして登場した。 しかし、これらの手法は、現実世界のシナリオにおける未学習の要求が、特にLLMの文脈で継続的に発生しているとは考えていない。 さらに、既存のLLMアンラーニング手法は、プライバシの懸念や著作権保護による過去のデータアクセス制限を無視することが多い。 これまでのデータがないと、アンラーニング中のユーティリティの保存はずっと難しい。 これらの課題を克服するために,要求されたデータを継続的に学習するOrthogonal Low-rank Adapter (LoRA) と,入力データと未学習データの類似性を測定する Out-Of-Distribution (OOD) 検出器を含むOOOフレームワークを提案する。 直交LoRAは連続的未学習要求間のパラメータ非絡み合いを実現する。 OOD検出器は、新しい対照的なエントロピー損失で訓練され、局所的に認識されるスコアリング機構を利用する。 推論中、OOD検出器の予測された入力と未学習の知識の類似性に基づいて、我々のOOOフレームワークは、未学習のLoRAをどの程度ロードするかを決定できる。 特に、OOOの有効性は保持されたデータに依存しない。 我々は3つのタスクと7つのデータセットにわたるOOOおよび最先端のLLMアンラーニング手法について広範な実験を行った。 その結果,OOOは,特に継続的な未学習要求に直面する場合において,最高の未学習の有効性とユーティリティの維持を一貫して達成していることがわかった。 ソースコードはhttps://github.com/GCYZSL/O3-LLM-UNLEARNINGで確認できる。

関連論文リスト

• ALU: Agentic LLM Unlearning [9.934258340998047]
  大規模言語モデル(LLM)における情報除去または抑制は、AI規制、法的コンプライアンス、安全性、プライバシに有用な、望ましい機能である。 現在のLLMアンラーニング手法は、これらの目的の競合する性質のため、未学習の有効性と実用性のバランスをとるのに苦労している。 LLMアンラーニングに対するマルチエージェント・リトレインフリー・モデル非依存アプローチであるALU法を提案する。
  論文  参考訳（メタデータ） (2025-02-01T11:45:44Z)
• Towards Robust Evaluation of Unlearning in LLMs via Data Transformations [17.927224387698903]
  大きな言語モデル(LLM)は、通常のNLPベースのユースケースからAIエージェントまで、幅広いアプリケーションで大きな成功を収めている。 近年,マシン・アンラーニング(MUL)分野の研究が活発化している。 主な考え方は、LLMが通常のタスクのパフォーマンス損失に悩まされることなく、特定の情報(例えば、PII)を忘れること(未学習)を強制することである。
  論文  参考訳（メタデータ） (2024-11-23T07:20:36Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs [31.16117964915814]
  訓練済みまたは微調整済みのモデルに格納された特定のデータを消去しようとする機械学習は、LLMにとって重要な保護措置として登場した。 構造的アンラーニング手法の開発を容易にするため,マルチシナリオデータセットをコンパイルするパイプラインであるPISTOLを提案する。 Llama2-7BモデルとMistral-7Bモデルの両方で4つの異なる未学習手法を用いてベンチマークを行う。
  論文  参考訳（メタデータ） (2024-06-24T17:22:36Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• O3D: Offline Data-driven Discovery and Distillation for Sequential Decision-Making with Large Language Models [16.91329676173649]
  大規模言語モデル(LLM)を改善するために,オフラインデータ駆動型ディスカバリ・蒸留(O3D)を提案する。 O3Dは、再利用可能なスキルを自動的に発見し、オフラインインタラクションデータに基づいて、複数のタスクにまたがる一般化可能な知識を蒸留する。 2つの対話型意思決定ベンチマーク (ALFWorld と WebShop) による実証結果から,O3D が LLM の意思決定能力を著しく向上できることが確認された。
  論文  参考訳（メタデータ） (2023-10-22T20:28:33Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。