論文の概要: Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis
- arxiv url: http://arxiv.org/abs/2406.15796v3
- Date: Tue, 17 Sep 2024 12:00:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 21:51:13.707792
- Title: Unveiling Entity-Level Unlearning for Large Language Models: A Comprehensive Analysis
- Title(参考訳): 大規模言語モデルのためのエンティティ・レベル・アンラーニングの展開:包括的分析
- Authors: Weitao Ma, Xiaocheng Feng, Weihong Zhong, Lei Huang, Yangfan Ye, Xiachong Feng, Bing Qin,
- Abstract要約: 大規模言語モデルのアンラーニングは、セキュリティとプライバシの懸念に対処する可能性から、注目を集めている。
この研究の多くは、機密コンテンツを含む事前定義されたインスタンスの削除を対象とする、インスタンスレベルの未学習に集中している。
本稿では,対象モデルからエンティティ関連知識を完全に消去することを目的とした,エンティティレベルのアンラーニングという新しいタスクを提案する。
- 参考スコア(独自算出の注目度): 32.455702022397666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model unlearning has garnered increasing attention due to its potential to address security and privacy concerns, leading to extensive research in the field. However, much of this research has concentrated on instance-level unlearning, specifically targeting the removal of predefined instances containing sensitive content. This focus has left a significant gap in the exploration of full entity-level unlearning, which is critical in real-world scenarios such as copyright protection. To this end, we propose a novel task of Entity-level unlearning, which aims to erase entity-related knowledge from the target model completely. To thoroughly investigate this task, we systematically evaluate trending unlearning algorithms, revealing that current methods struggle to achieve effective entity-level unlearning. Then, we further explore the factors that influence the performance of the unlearning algorithms, identifying that knowledge coverage and the size of the forget set play pivotal roles. Notably, our analysis also uncovers that entities introduced through fine-tuning are more vulnerable to unlearning than pre-trained entities. These findings collectively offer valuable insights for advancing entity-level unlearning for LLMs.
- Abstract(参考訳): 大規模言語モデルのアンラーニングは、セキュリティとプライバシの懸念に対処する可能性から注目を集めており、この分野での広範な研究につながっている。
しかしながら、この研究の多くは、機密コンテンツを含む事前定義されたインスタンスの削除を対象とする、インスタンスレベルの未学習に集中している。
この焦点は、著作権保護のような現実のシナリオにおいて重要な、完全なエンティティレベルのアンラーニングの探究において、大きなギャップを残しています。
そこで本研究では,対象モデルからエンティティ関連知識を完全に消去することを目的とした,エンティティレベルのアンラーニングの新たなタスクを提案する。
この課題を徹底的に検討するため,非学習アルゴリズムのトレンドを体系的に評価し,現在の手法が効果的なエンティティレベルの非学習を実現するのに苦労していることを明らかにする。
次に,未学習アルゴリズムの性能に影響を及ぼす要因について検討し,知識のカバー範囲と無視セットのサイズが重要な役割を担っていることを確認した。
特に、私たちの分析では、微調整によって導入されたエンティティが、事前訓練されたエンティティよりも学習に弱いことも明らかにしています。
これらの知見は、LCMのためのエンティティレベルのアンラーニングを前進させるための貴重な洞察を提供する。
関連論文リスト
- Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-07T12:19:37Z) - Towards Federated Domain Unlearning: Verification Methodologies and Challenges [34.9987941096371]
フェデレート・ドメイン・アンラーニングに関する最初の総合的な実証的研究について紹介する。
その結果,非学習がモデルの深い層に不均等に影響を及ぼすことが判明した。
フェデレート・ドメイン・アンラーニングに適した新しい評価手法を提案する。
論文 参考訳(メタデータ) (2024-06-05T09:05:55Z) - An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。
この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。
モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文 参考訳(メタデータ) (2024-02-02T13:33:30Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳(メタデータ) (2023-10-31T23:26:58Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳(メタデータ) (2022-10-07T15:55:52Z) - Effective Few-Shot Named Entity Linking by Meta-Learning [34.70028855572534]
本稿では,非自明な合成エンティティ-メント対を生成するための新しい弱監督戦略を提案する。
また,各合成実体対に異なる重みを割り当てるメタ学習機構を設計する。
実世界のデータセットの実験により、提案手法は最先端の少数ショットエンティティリンクモデルを大幅に改善できることが示された。
論文 参考訳(メタデータ) (2022-07-12T03:23:02Z) - Vertical Machine Unlearning: Selectively Removing Sensitive Information
From Latent Feature Space [21.8933559159369]
遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。
我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。
厳密な理論的解析により上界の近似を推定する。
論文 参考訳(メタデータ) (2022-02-27T05:25:15Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。