論文の概要: Selective Forgetting: Advancing Machine Unlearning Techniques and Evaluation in Language Models

• arxiv url: http://arxiv.org/abs/2402.05813v2
• Date: Mon, 16 Dec 2024 12:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:56.055762
• Title: Selective Forgetting: Advancing Machine Unlearning Techniques and Evaluation in Language Models
• Title（参考訳）: Selective Forgetting: 機械学習技術の向上と言語モデルの評価
• Authors: Lingzhi Wang, Xingshan Zeng, Jinsong Guo, Kam-Fai Wong, Georg Gottlob,
• Abstract要約: 言語モデルに対する選択的かつきめ細かな未学習を可能にする新しい方法であるSeULを提案する。 我々は2つの革新的な評価指標、感度抽出可能性(S-EL)と感度記憶精度(S-MA)を導入する。 アンラーニングフレームワークをサポートするために,オンラインおよびオフラインのセマンティックスパンアノテーション手法を効率よく提案する。
• 参考スコア（独自算出の注目度）: 23.101582510545335
• License:
• Abstract: This paper explores Machine Unlearning (MU), an emerging field that is gaining increased attention due to concerns about neural models unintentionally remembering personal or sensitive information. We present SeUL, a novel method that enables selective and fine-grained unlearning for language models. Unlike previous work that employs a fully reversed training objective in unlearning, SeUL minimizes the negative impact on the capability of language models, particularly in terms of generation. Furthermore, we introduce two innovative evaluation metrics, sensitive extraction likelihood (S-EL) and sensitive memorization accuracy (S-MA), specifically designed to assess the effectiveness of forgetting sensitive information. In support of the unlearning framework, we propose efficient automatic online and offline sensitive span annotation methods. The online selection method, based on language probability scores, ensures computational efficiency, while the offline annotation involves a two-stage LLM-based process for robust verification. In summary, this paper contributes a novel selective unlearning method (SeUL), introduces specialized evaluation metrics (S-EL and S-MA) for assessing sensitive information forgetting, and proposes automatic online and offline sensitive span annotation methods to support the overall unlearning framework and evaluation process.
• Abstract（参考訳）: 本稿では,個人やセンシティブな情報を意図せずに記憶するニューラルネットワークに対する懸念から,新たな分野であるマシン・アンラーニング(MU)について考察する。 言語モデルに対する選択的かつきめ細かな未学習を可能にする新しい方法であるSeULを提案する。 アンラーニングにおいて完全に逆のトレーニング目標を用いた以前の研究とは異なり、セウルは言語モデル、特に生成の観点からの能力に対するネガティブな影響を最小化している。 さらに,2つの革新的な評価指標,センシティブ抽出可能性(S-EL)とセンシティブ記憶精度(S-MA)を導入し,センシティブ情報を忘れることの有効性を評価する。 アンラーニングフレームワークをサポートするために,オンラインおよびオフラインのセマンティックスパンアノテーション手法を効率よく提案する。 オンライン選択法は言語確率スコアに基づいて計算効率を保証し、オフラインアノテーションは堅牢な検証のための2段階のLCMプロセスを含む。 本稿では,新しい選択的アンラーニング手法(SeUL)を提案し,センシティブな情報の忘れ方を評価するための特別な評価指標(S-ELとS-MA)を導入し,オンラインおよびオフラインのセンシティブなアノテーションを自動的に提案し,全体的なアンラーニングフレームワークと評価プロセスをサポートする。

関連論文リスト

• ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
  本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。 このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。 実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
  論文  参考訳（メタデータ） (2025-02-16T16:31:00Z)
• Redefining Machine Unlearning: A Conformal Prediction-Motivated Approach [1.3731623617634434]
  既存の未学習指標の限界を同定し,共形予測にインスパイアされた評価指標を提案する。 我々のメトリクスは、予測セットから基底真理ラベルが除外される範囲を効果的に捉えることができる。 本稿では,Carini & Wagner 対逆攻撃損失に対する共形予測の洞察を統合するアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:58:43Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation [2.0411082897313984]
  本研究では,人間のアノテータと大規模言語モデルを統合する新しい手法を提案する。 提案フレームワークは, モデルの不確実性レベルに応じて, 人間のアノテーションとLLMの出力を統合する。 実験結果から, モデル精度の維持・改善を図りながら, データアノテーションに関連するコストを大幅に削減した。
  論文  参考訳（メタデータ） (2024-06-17T21:45:48Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• DUCK: Distance-based Unlearning via Centroid Kinematics [40.2428948628001]
  本研究は,Centroid Kinematics (DUCK) による遠隔学習(Distance-based Unlearning)と呼ばれる新しいアンラーニングアルゴリズムを導入する。 アルゴリズムの性能評価は、様々なベンチマークデータセットにまたがって行われる。 また,適応学習スコア (Adaptive Unlearning Score, AUS) と呼ばれる新しい指標を導入し, 対象データに対する未学習プロセスの有効性だけでなく, 元のモデルに対する性能損失の定量化も行った。
  論文  参考訳（メタデータ） (2023-12-04T17:10:25Z)
• On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
  平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。 我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。 我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2020-10-24T04:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。