論文の概要: Rethinking Entity-level Unlearning for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15796v1
• Date: Sat, 22 Jun 2024 09:40:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:35:12.277115
• Title: Rethinking Entity-level Unlearning for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのエンティティレベルの未学習の再考
• Authors: Weitao Ma, Xiaocheng Feng, Weihong Zhong, Lei Huang, Yangfan Ye, Bing Qin,
• Abstract要約: 本稿では,対象モデル内のエンティティ関連知識を完全に消去する,エンティティレベルの非学習という新しいタスクを提案する。 実験によると、現在の未学習アルゴリズムは効果的なエンティティレベルの未学習を達成するのに苦労している。
• 参考スコア（独自算出の注目度）: 28.708701013154993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model unlearning has gained increasing attention due to its potential to mitigate security and privacy concerns. Current research predominantly focuses on Instance-level unlearning, specifically aiming at forgetting predefined instances of sensitive content. However, a notable gap still exists in exploring the deletion of complete entity-related information, which is crucial in many real-world scenarios, such as copyright protection. To this end, we propose a novel task of Entity-level unlearning, where the entity-related knowledge within the target model is supposed to be entirely erased. Given the challenge of practically accessing all entity-related knowledge within a model, we begin by simulating entity-level unlearning scenarios through fine-tuning models to introduce pseudo entities. Following this, we develop baseline methods inspired by trending unlearning techniques and conduct a detailed comparison of their effectiveness in this task. Extensive experiments reveal that current unlearning algorithms struggle to achieve effective entity-level unlearning. Additionally, our analyses further indicate that entity-related knowledge injected through fine-tuning is more susceptible than original entities from pre-training during unlearning, highlighting the necessity for more thorough pseudo-entity injection methods to make them closer to pre-trained knowledge.
• Abstract（参考訳）: 大規模言語モデルのアンラーニングは、セキュリティとプライバシの懸念を軽減する可能性があるため、注目を集めている。 現在の研究は、主にインスタンスレベルのアンラーニングに焦点を当てており、特に機密コンテンツの予め定義されたインスタンスを忘れることを目的としている。 しかし、著作権保護など多くの現実のシナリオにおいて重要な、完全なエンティティ関連情報の削除を探求する上で、注目すべきギャップがまだ残っている。 そこで本研究では,対象モデル内のエンティティ関連知識を完全に消去する,エンティティレベルのアンラーニングという新しいタスクを提案する。 モデル内のすべてのエンティティ関連知識に実際にアクセスすることの難しさを考えると、擬似エンティティを導入するための微調整モデルを通じて、エンティティレベルの未学習シナリオをシミュレートすることから始める。 次に,非学習手法のトレンドにインスパイアされたベースライン手法を開発し,その効果を詳細に比較する。 大規模な実験により、現在のアンラーニングアルゴリズムは、効果的なエンティティレベルのアンラーニングを達成するのに苦労していることが明らかになった。 さらに,本研究では,未学習時の事前学習において,微調整によって注入される実体関連知識が本来の実体よりも受容されやすいことを示し,事前学習された知識に近づけるために,より徹底的な擬似性注入法の必要性を強調した。

関連論文リスト

• Oriented Tiny Object Detection: A Dataset, Benchmark, and Dynamic Unbiased Learning [51.170479006249195]
  本研究では,新しいデータセット,ベンチマーク,動的粗大な学習手法を提案する。 提案するデータセットであるAI-TOD-Rは、すべてのオブジェクト指向オブジェクト検出データセットの中で最小のオブジェクトサイズを特徴としている。 完全教師付きおよびラベル効率の両アプローチを含む,幅広い検出パラダイムにまたがるベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-16T09:14:32Z)
• Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset [94.13848736705575]
  我々は、未学習アルゴリズムの有効性を頑健に評価するために設計された新しいVLMアンラーニングベンチマークであるFacial Identity Unlearning Benchmark (FIUBench)を紹介する。 情報ソースとその露出レベルを正確に制御する2段階評価パイプラインを適用した。 FIUBench 内の 4 つのベースライン VLM アンラーニングアルゴリズムの評価により,すべての手法がアンラーニング性能に制限されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-05T23:26:10Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification [1.1161827123148225]
  本研究では,Large Language Models (LLMs) のドメイン固有情報の生成と提供における可能性について検討する。 これを実現するために、LLMは知識グラフと事前訓練されたセマンティックベクターを利用するパイプラインに統合される。 その結果,LLMをベースとした組込みと汎用的な事前学習型組込みを組み合わせることで,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-03-18T18:08:44Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• The Value of Information When Deciding What to Learn [21.945359614094503]
  本研究は情報指向サンプリングの設計原理に基づく(Russo & Van Roy, 2014)。 我々は,学習内容を決定する際の情報の価値を確認する実証的な結果に目を向ける前に,学習目標に関する文献からの新たな知見を提示する。
  論文  参考訳（メタデータ） (2021-10-26T19:23:12Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。