論文の概要: LUME: LLM Unlearning with Multitask Evaluations
- arxiv url: http://arxiv.org/abs/2502.15097v1
- Date: Thu, 20 Feb 2025 23:30:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:11:00.588875
- Title: LUME: LLM Unlearning with Multitask Evaluations
- Title（参考訳）: LUME:マルチタスク評価によるLLMアンラーニング
- Authors: Anil Ramakrishna, Yixin Wan, Xiaomeng Jin, Kai-Wei Chang, Zhiqi Bu, Bhanukiran Vinzamuri, Volkan Cevher, Mingyi Hong, Rahul Gupta,
- Abstract要約: Unlearningは、大規模な言語モデル(LLM)から著作権のある、機密性の高い、あるいはプライベートなコンテンツを、完全に再トレーニングすることなく削除することを目的としている。
本研究では,(1)未学習の創造的短編小説,(2)機密情報付き未学習の合成バイオグラフィー,(3)公開バイオグラフィーのコレクションの3つのタスクを特徴とするマルチタスク・アンラーニング・ベンチマーク(LUME)を開発した。
- 参考スコア（独自算出の注目度）: 106.83812472773522
- License:
- Abstract: Unlearning aims to remove copyrighted, sensitive, or private content from large language models (LLMs) without a full retraining. In this work, we develop a multi-task unlearning benchmark (LUME) which features three tasks: (1) unlearn synthetically generated creative short novels, (2) unlearn synthetic biographies with sensitive information, and (3) unlearn a collection of public biographies. We further release two fine-tuned LLMs of 1B and 7B parameter sizes as the target models. We conduct detailed evaluations of several recently proposed unlearning algorithms and present results on carefully crafted metrics to understand their behavior and limitations.
- Abstract（参考訳）: Unlearningは、大規模な言語モデル(LLM)から著作権のある、機密性の高い、あるいはプライベートなコンテンツを、完全に再トレーニングすることなく削除することを目的としている。
本研究では,(1)未学習の創造的短編小説,(2)機密情報付き未学習の合成バイオグラフィー,(3)公開バイオグラフィーのコレクションの3つのタスクを特徴とするマルチタスク・アンラーニング・ベンチマーク(LUME)を開発する。
さらに、ターゲットモデルとして、1Bと7Bのパラメータサイズの微調整LDMを2つリリースする。
我々は、最近提案されたいくつかの未学習アルゴリズムの詳細な評価を行い、その振る舞いと制限を理解するために、慎重に構築されたメトリクスについて結果を示す。
関連論文リスト
- Catastrophic Failure of LLM Unlearning via Quantization [36.524827594501495]
未学習のモデルに量子化を適用することで、「忘れられた」情報を復元できることを示す。
実用性制約のある未学習の手法では、未学習モデルは、意図された忘れられた知識の21%を完全な精度で保持する。
論文 参考訳（メタデータ） (2024-10-21T19:28:37Z) - A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。
LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
論文 参考訳（メタデータ） (2024-10-10T16:56:05Z) - MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。
総合的な機械学習評価ベンチマークであるMUSEを提案する。
人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
論文 参考訳（メタデータ） (2024-07-08T23:47:29Z) - RWKU: Benchmarking Real-World Knowledge Unlearning for Large Language Models [20.944353802665965]
大きな言語モデル(LLM)は、必然的に、トレーニングコーパスから機密性、著作権、有害な知識を記憶する。
LLMアンラーニングのための実世界知識アンラーニングベンチマーク(RWKU)を提案する。
論文 参考訳（メタデータ） (2024-06-16T10:47:21Z) - Reversing the Forget-Retain Objectives: An Efficient LLM Unlearning Framework from Logit Difference [39.29939437034823]
我々は、ログ差分(ULD)からのアンラーニングと呼ばれる新しいアンラーニングフレームワークを提案する。
本手法は,LLMの全体的な能力を維持しつつ,意図した忘れを効果的に実現し,トレーニング時間を3倍以上に短縮する。
論文 参考訳（メタデータ） (2024-06-12T19:26:35Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳（メタデータ） (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。