論文の概要: Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2406.09179v1
• Date: Thu, 13 Jun 2024 14:41:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:24:35.011592
• Title: Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning
• Title（参考訳）: 制御によるアンラーニング:大規模言語モデルのアンラーニングにおける実世界のユーティリティの評価
• Authors: Qizhou Wang, Bo Han, Puning Yang, Jianing Zhu, Tongliang Liu, Masashi Sugiyama,
• Abstract要約: 最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
• 参考スコア（独自算出の注目度）: 97.2995389188179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The compelling goal of eradicating undesirable data behaviors, while preserving usual model functioning, underscores the significance of machine unlearning within the domain of large language models (LLMs). Recent research has begun to approach LLM unlearning via gradient ascent (GA) -- increasing the prediction risk for those training strings targeted to be unlearned, thereby erasing their parameterized responses. Despite their simplicity and efficiency, we suggest that GA-based methods face the propensity towards excessive unlearning, resulting in various undesirable model behaviors, such as catastrophic forgetting, that diminish their practical utility. In this paper, we suggest a set of metrics that can capture multiple facets of real-world utility and propose several controlling methods that can regulate the extent of excessive unlearning. Accordingly, we suggest a general framework to better reflect the practical efficacy of various unlearning methods -- we begin by controlling the unlearning procedures/unlearned models such that no excessive unlearning occurs and follow by the evaluation for unlearning efficacy. Our experimental analysis on established benchmarks revealed that GA-based methods are far from perfect in practice, as strong unlearning is at the high cost of hindering the model utility. We conclude that there is still a long way towards practical and effective LLM unlearning, and more efforts are required in this field.
• Abstract（参考訳）: 望ましくないデータ行動の根絶という魅力的なゴールは、通常のモデル機能を維持しながら、大きな言語モデル(LLM)のドメイン内での機械学習の重要性を強調している。 最近の研究は、勾配上昇(GA)を介してLLMアンラーニングにアプローチし始めており、学習対象とするトレーニング文字列の予測リスクを高め、パラメータ化された応答を消去している。 その単純さと効率性にもかかわらず、GAベースの手法は過剰な未学習の傾向に直面することを示唆し、破滅的な忘れなど、様々な望ましくないモデル行動をもたらし、実用性を低下させる。 本稿では,実世界のユーティリティの複数の側面を捉えることのできるメトリクスのセットを提案し,過剰な未学習の程度を制御できるいくつかの制御方法を提案する。 そこで本研究では,過剰な未学習が起こらないような未学習の手続き/未学習モデルを制御し,未学習の有効性を評価することによって,様々な未学習手法の実践的効果をよりよく反映する一般的な枠組みを提案する。 確立されたベンチマークの実験分析により,GAベースの手法は,モデルユーティリティを阻害するコストが高くなるため,実際は完璧には程遠いことが明らかとなった。 我々は、まだ実用的で効果的なLLMアンラーニングには長い道のりがあり、この分野ではより多くの努力が必要であると結論付けている。

関連論文リスト

• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
  ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。 この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。 実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-24T01:43:30Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models [21.929902181609936]
  我々は不確実性に基づくアクティブラーニングとLoRAを統合する新しい手法を提案する。 不確実性ギャップについて、ベースモデルの不確実性とフルモデルの不確実性を組み合わせた動的不確実性測定を導入する。 モデルのキャリブレーションが不十分な場合、LoRAトレーニング中に正規化手法を導入し、モデルが過度に信頼されないようにする。
  論文  参考訳（メタデータ） (2024-03-02T10:38:10Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• On Data Efficiency of Meta-learning [17.739215706060605]
  私たちは、現代のメタ学習アルゴリズムの見落とされがちな側面、すなわちそのデータ効率を研究します。 本稿では,メタラーニング手法を評価するための新しいシンプルなフレームワークを提案する。 本稿では,アクティブなデータ選択を学習学習に取り入れたアクティブなメタラーニングを提案する。
  論文  参考訳（メタデータ） (2021-01-30T01:44:12Z)
• Learning the Truth From Only One Side of the Story [58.65439277460011]
  一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。 理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-08T18:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。