論文の概要: Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models

• arxiv url: http://arxiv.org/abs/2407.20271v3
• Date: Sat, 22 Feb 2025 02:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:50:56.537791
• Title: Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models
• Title（参考訳）: Unlearnで学ぶ: 生成言語モデルのための反復的アンラーニングフレームワーク
• Authors: Haoyu Tang, Ye Liu, Xi Zhao, Xukai Liu, Yanghai Zhang, Kai Zhang, Xiaofang Zhou, Enhong Chen,
• Abstract要約: 3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
• 参考スコア（独自算出の注目度）: 52.03511469562013
• License:
• Abstract: Recent advances in machine learning, particularly in Natural Language Processing (NLP), have produced powerful models trained on vast datasets. However, these models risk leaking sensitive information, raising privacy concerns. In response, regulatory measures such as the European Union's General Data Protection Regulation (GDPR) have driven increasing interest in Machine Unlearning techniques, which enable models to selectively forget specific data entries. Early unlearning approaches primarily relied on pre-processing methods, while more recent research has shifted towards training-based solutions. Despite their effectiveness, a key limitation persists: most methods require access to original training data, which is often unavailable. Additionally, directly applying unlearning techniques bears the cost of undermining the model's expressive capabilities. To address these challenges, we introduce the Iterative Contrastive Unlearning (ICU) framework, which consists of three core components: A Knowledge Unlearning Induction module designed to target specific knowledge for removal using an unlearning loss; A Contrastive Learning Enhancement module to preserve the model's expressive capabilities against the pure unlearning goal; And an Iterative Unlearning Refinement module that dynamically adjusts the unlearning process through ongoing evaluation and updates. Experimental results demonstrate the efficacy of our ICU method in unlearning sensitive information while maintaining the model's overall performance, offering a promising solution for privacy-conscious machine learning applications.
• Abstract（参考訳）: 機械学習の最近の進歩、特に自然言語処理(NLP)は、膨大なデータセットでトレーニングされた強力なモデルを生み出している。 しかし、これらのモデルは機密情報を漏らすリスクがあり、プライバシーの懸念が高まる。 これに対し、欧州連合(EU)の一般データ保護規則(GDPR)などの規制措置は、特定のデータエントリを選択的に忘れることを可能にする機械学習技術への関心を高めている。 初期のアンラーニングアプローチは、主に前処理方式に依存していたが、最近の研究では、トレーニングベースのソリューションに移行している。 ほとんどのメソッドは、しばしば利用できないオリジナルのトレーニングデータへのアクセスを必要とします。 さらに、未学習のテクニックを直接適用すると、モデルの表現能力を損なうコストがかかる。 これらの課題に対処するため、我々は、未学習の損失を用いた除去のための特定の知識を目標とする知識未学習誘導モジュール、純粋な未学習目標に対するモデルの表現力を維持するためのコントラスト学習強化モジュール、継続的な評価と更新を通じて非学習プロセスを動的に調整する反復未学習修正モジュールの3つのコアコンポーネントからなる、反復非学習(ICU)フレームワークを紹介した。 実験により、モデル全体の性能を維持しながら、未学習のセンシティブな情報に対するICU手法の有効性を実証し、プライバシーに配慮した機械学習アプリケーションに有望なソリューションを提供する。

関連論文リスト

• Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation [11.174705227990241]
  機械学習は、大規模な再トレーニングを必要とせずに、トレーニングされたモデルから特定のデータの影響を取り除くテクニックである。 本稿では,階層的関連分析と神経経路摂動を用いた機械学習の新しい手法を提案する。 本手法は,高関連ニューロンを同定・摂動することで,機械学習性能とモデルの有用性のバランスをとる。
  論文  参考訳（メタデータ） (2024-10-31T07:37:04Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Efficient Knowledge Deletion from Trained Models through Layer-wise Partial Machine Unlearning [2.3496568239538083]
  本稿では,機械学習アルゴリズムの新たなクラスを紹介する。 第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。 第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
  論文  参考訳（メタデータ） (2024-03-12T12:49:47Z)
• Towards Automated Knowledge Integration From Human-Interpretable Representations [55.2480439325792]
  我々は,情報メタ学習の原理を理論的に導入・動機付けし,自動的かつ制御可能な帰納バイアス選択を可能にする。 データ効率と一般化を改善するための情報メタラーニングのメリットと限界を実証的に示す。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。