論文の概要: Opt-Out: Investigating Entity-Level Unlearning for Large Language Models via Optimal Transport

• arxiv url: http://arxiv.org/abs/2406.12329v2
• Date: Wed, 04 Dec 2024 06:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:20.613395
• Title: Opt-Out: Investigating Entity-Level Unlearning for Large Language Models via Optimal Transport
• Title（参考訳）: Opt-Out: 最適なトランスポートによる大規模言語モデルのエンティティレベル学習の調査
• Authors: Minseok Choi, Daniel Rim, Dohyun Lee, Jaegul Choo,
• Abstract要約: 大規模言語モデルは不注意にも、ユーザに対してプライベートで機密性の高い情報を開示する。 最適なトランスポートベースのアンラーニング手法であるOpt-Outを導入する。 また、最初のエンティティレベルの未学習データセットも提示する。
• 参考スコア（独自算出の注目度）: 37.172662930947446
• License:
• Abstract: Instruction-following large language models (LLMs), such as ChatGPT, have become widely popular among everyday users. However, these models inadvertently disclose private, sensitive information to their users, underscoring the need for machine unlearning techniques to remove selective information from the models. While prior work has focused on forgetting small, random subsets of training data at the instance-level, we argue that real-world scenarios often require the removal of an entire user data, which may require a more careful maneuver. In this study, we explore entity-level unlearning, which aims to erase all knowledge related to a target entity while preserving the remaining model capabilities. To address this, we introduce Opt-Out, an optimal transport-based unlearning method that utilizes the Wasserstein distance from the model's initial parameters to achieve more effective and fine-grained unlearning. We also present the first Entity-Level Unlearning Dataset (ELUDe) designed to evaluate entity-level unlearning. Our empirical results demonstrate that Opt-Out surpasses existing methods, establishing a new standard for secure and adaptable LLMs that can accommodate user data removal requests without the need for full retraining.
• Abstract（参考訳）: ChatGPTのような命令追従型大規模言語モデル(LLM)は、日常的に広く普及している。 しかし、これらのモデルは、故意にユーザに対して機密性の高いプライベート情報を開示し、モデルから選択された情報を除去するための機械学習技術の必要性を強調している。 以前の作業では、インスタンスレベルでのトレーニングデータの小さなランダムなサブセットを忘れることに重点を置いていましたが、現実のシナリオでは、ユーザデータ全体を削除する必要がしばしばあります。 本研究では,モデル能力を維持しながら,対象エンティティに関連するすべての知識を消去することを目的とした,エンティティレベルのアンラーニングについて検討する。 そこで我々は,モデルの初期パラメータからワッサーシュタイン距離を利用して,より効率的かつきめ細かな未学習を実現する,最適なトランスポートベースの未学習手法であるOpt-Outを紹介する。 また、エンティティレベルのアンラーニングを評価するために設計された、最初のエンティティレベルアンラーニングデータセット(ELUDe)も提示する。 実験の結果、Opt-Outは既存のメソッドを超越し、完全なリトレーニングを必要とせずにユーザデータ削除要求に対応可能な、セキュアで適応可能なLLMの新しい標準を確立しました。

関連論文リスト

• FUNU: Boosting Machine Unlearning Efficiency by Filtering Unnecessary Unlearning [9.472692023087223]
  本研究では不必要な未学習につながるデータポイントを同定するFUNUを提案する。 FUNUの理論的解析を行い,その有効性を検証するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2025-01-28T01:19:07Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Update Selective Parameters: Federated Machine Unlearning Based on Model Explanation [46.86767774669831]
  モデル説明の概念に基づく、より効率的で効率的なフェデレーション・アンラーニング・スキームを提案する。 我々は、未学習のデータに対して、すでに訓練済みのモデルの中で最も影響力のあるチャネルを選択します。
  論文  参考訳（メタデータ） (2024-06-18T11:43:20Z)
• Towards Efficient Target-Level Machine Unlearning Based on Essential Graph [18.35868679190816]
  機械学習の既存の研究は、主に1つのクラスからインスタンスのクラスタやすべてのインスタンスを忘れる未学習の要求に焦点を当てている。 モデルから部分的対象を除去することに焦点を当てた、より効率的で効率的な非学習手法を提案する。 様々なデータセット上で異なるトレーニングモデルを用いた実験は、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-16T14:17:13Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Unlearnable Algorithms for In-context Learning [36.895152458323764]
  本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。 タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。 本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:43:04Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。