論文の概要: SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
- arxiv url: http://arxiv.org/abs/2404.18239v1
- Date: Sun, 28 Apr 2024 16:31:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 15:25:56.980940
- Title: SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
- Title(参考訳): SOUL:LLMアンラーニングのための2階最適化のパワーを解き放つ
- Authors: Jinghan Jia, Yihua Zhang, Yimeng Zhang, Jiancheng Liu, Bharat Runwal, James Diffenderfer, Bhavya Kailkhura, Sijia Liu,
- Abstract要約: 大規模言語モデル(LLM)は、データ規則や倫理的AIプラクティスに従うための効果的な非学習メカニズムの必要性を強調している。
LLMs unlearningは、望ましくないデータの影響と関連するモデル機能を取り除くことを目的としている。
SOULは、さまざまな未学習タスク、モデル、メトリクスにわたって、従来の一階法よりも一貫して優れています。
- 参考スコア(独自算出の注目度): 30.25610464801255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have highlighted the necessity of effective unlearning mechanisms to comply with data regulations and ethical AI practices. LLM unlearning aims at removing undesired data influences and associated model capabilities without compromising utility out of the scope of unlearning. While interest in studying LLM unlearning is growing,the impact of the optimizer choice for LLM unlearning remains under-explored. In this work, we shed light on the significance of optimizer selection in LLM unlearning for the first time, establishing a clear connection between {second-order optimization} and influence unlearning (a classical approach using influence functions to update the model for data influence removal). This insight propels us to develop a second-order unlearning framework, termed SOUL, built upon the second-order clipped stochastic optimization (Sophia)-based LLM training method. SOUL extends the static, one-shot model update using influence unlearning to a dynamic, iterative unlearning process. Our extensive experiments show that SOUL consistently outperforms conventional first-order methods across various unlearning tasks, models, and metrics, suggesting the promise of second-order optimization in providing a scalable and easily implementable solution for LLM unlearning.
- Abstract(参考訳): 大規模言語モデル(LLM)は、データ規則や倫理的AIプラクティスに従うための効果的な非学習メカニズムの必要性を強調している。
LLMアンラーニングは、望ましくないデータの影響と関連するモデル機能を取り除くことを目的としており、アンラーニングの範囲からユーティリティを妥協させることはない。
LLMアンラーニングの研究への関心は高まっているが、LLMアンラーニングにおけるオプティマイザ選択の影響はいまだに未調査である。
本研究では,LLMアンラーニングにおけるオプティマイザ選択の重要性を初めて明らかにし,<2次最適化>とアンラーニング(データ影響除去のためのモデル更新にインフルエンス関数を用いた古典的アプローチ)との明確な関係を確立した。
この知見は,2次クリッピング確率最適化(Sophia)に基づくLLM学習法に基づいて,SOULと呼ばれる2次アンラーニングフレームワークを開発することを示唆している。
SOULは、動的で反復的なアンラーニングプロセスにインフルエンスアンラーニングを使用して、静的でワンショットのモデル更新を拡張する。
我々の広範な実験により、SOULは様々な未学習タスク、モデル、メトリクスにまたがる従来の一階法よりも一貫して優れており、LLMアンラーニングのためのスケーラブルで実装が容易なソリューションを提供することで、二階最適化の可能性を示唆している。
関連論文リスト
- Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。
LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。
また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
論文 参考訳(メタデータ) (2024-07-15T07:36:00Z) - PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs [31.16117964915814]
訓練済みまたは微調整済みのモデルに格納された特定のデータを消去しようとする機械学習は、LLMにとって重要な保護措置として登場した。
構造的アンラーニング手法の開発を容易にするため,マルチシナリオデータセットをコンパイルするパイプラインであるPISTOLを提案する。
Llama2-7BモデルとMistral-7Bモデルの両方で4つの異なる未学習手法を用いてベンチマークを行う。
論文 参考訳(メタデータ) (2024-06-24T17:22:36Z) - Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs [18.629717934007513]
SPUNGE(SPlit, UNlearn, MerGE)は,任意のアンラーニング手法を用いて有効性を増幅するフレームワークである。
我々はSPUNGEが最近の2つの非学習手法の性能を大幅に向上させることを実証的に実証した。
論文 参考訳(メタデータ) (2024-06-17T17:35:52Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
VMLの有効性を実証的に評価するために,いくつかの研究を行っている。
論文 参考訳(メタデータ) (2024-06-06T17:59:56Z) - Offset Unlearning for Large Language Models [49.851093293780615]
アンラーニングは、問題のあるトレーニングデータに影響された大規模言語モデルの潜在的な治療法として浮上した。
ブラックボックスLLMのためのオフセットアンラーニングフレームワークである$delta$-unlearningを提案する。
実験によると、$delta$-unlearningは、一般的なアウトオブスコープタスクにおいて、同じような、あるいはより強力なパフォーマンスを維持しながら、ターゲットデータを効果的に解放することができる。
論文 参考訳(メタデータ) (2024-04-17T03:39:51Z) - Towards Efficient and Effective Unlearning of Large Language Models for Recommendation [46.599206847535676]
我々は, LLMunderlineRec に対する最初のアンダーライン効率とアンダーライン効果のアンダーラインアンラーニング法である textbfE2URec を提案する。
E2URecは、いくつかのLoRAパラメータだけを更新することで、未学習の効率を向上し、教師と学生のフレームワークを利用することで、未学習の効率を向上させる。
論文 参考訳(メタデータ) (2024-03-06T08:31:35Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-03T09:48:54Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。