論文の概要: Investigating the Feasibility of Mitigating Potential Copyright Infringement via Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2412.18621v1
• Date: Mon, 16 Dec 2024 20:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 09:34:28.197571
• Title: Investigating the Feasibility of Mitigating Potential Copyright Infringement via Large Language Model Unlearning
• Title（参考訳）: 大規模言語モデルアンラーニングによる潜在的著作権侵害の軽減の可能性の検討
• Authors: Guangyao Dou,
• Abstract要約: LLM(Pre-trained Large Language Models)は、優れた能力を示すと同時に、著作権のある資料の学習と生成によるリスクも生んでいる。 本研究では,LLMから複数の時間ステップで著作権付きコンテンツを解放する新しいフレームワークであるSSU(Stable Sequential Unlearning)を提案する。 SSUは時に、未学習の有効性と汎用言語能力の効果的なトレードオフを達成し、既存のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Pre-trained Large Language Models (LLMs) have demonstrated remarkable capabilities but also pose risks by learning and generating copyrighted material, leading to significant legal and ethical concerns. In a potential real-world scenario, model owners may need to continuously address copyright infringement in order to address requests for content removal that emerge at different time points. One potential way of addressing this is via sequential unlearning, where copyrighted content is removed sequentially as new requests arise. Despite its practical relevance, sequential unlearning in the context of copyright infringement has not been rigorously explored in existing literature. To address this gap, we propose Stable Sequential Unlearning (SSU), a novel framework designed to unlearn copyrighted content from LLMs over multiple time steps. Our approach works by identifying and removing specific weight updates in the model's parameters that correspond to copyrighted content using task vectors. We improve unlearning efficacy by introducing random labeling loss and ensuring the model retains its general-purpose knowledge by adjusting targeted parameters with gradient-based weight saliency. Extensive experimental results show that SSU sometimes achieves an effective trade-off between unlearning efficacy and general-purpose language abilities, outperforming existing baselines, but it's not a cure-all for unlearning copyrighted material.
• Abstract（参考訳）: 事前訓練されたLarge Language Models (LLMs) は目覚ましい能力を示したが、著作権のある資料の学習と生成によるリスクも生じており、法的、倫理的懸念を招いている。 潜在的な現実のシナリオでは、モデル所有者は異なる時点に現れるコンテンツ削除要求に対処するために、著作権侵害に継続的に対処する必要があるかもしれない。 この問題に対処する潜在的な方法の1つは、シーケンシャルなアンラーニングであり、そこでは、新しいリクエストが発生すると、著作権のあるコンテンツが順次削除される。 その実践的関連性にもかかわらず、著作権侵害の文脈におけるシーケンシャルなアンラーニングは、既存の文献では厳密に研究されていない。 このギャップに対処するために,複数の時間ステップで著作権付きコンテンツをLLMから解放する新しいフレームワークであるSSUを提案する。 提案手法は,タスクベクトルを用いて,著作権のあるコンテンツに対応するモデルパラメータの特定の重み更新を識別し,削除する。 我々は、ランダムなラベル付け損失を導入し、目標パラメータを勾配に基づく重み値に調整することで、モデルが汎用的な知識を維持することにより、未学習の有効性を向上させる。 大規模な実験結果から、SSUは、未学習の有効性と汎用言語能力との効果的なトレードオフを達成し、既存のベースラインを上回ります。

関連論文リスト

• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
  著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。 我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。 透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T16:53:09Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Evaluating Copyright Takedown Methods for Language Models [100.38129820325497]
  言語モデル(LM)は、潜在的に著作権のある資料を含む様々なデータに対する広範な訓練からその能力を引き出す。 本稿では,LMの著作権削除の可能性と副作用を初めて評価する。 システムプロンプトの追加、デコード時間フィルタリングの介入、未学習アプローチなど、いくつかの戦略を検討する。
  論文  参考訳（メタデータ） (2024-06-26T18:09:46Z)
• Avoiding Copyright Infringement via Large Language Model Unlearning [24.050754626661124]
  本稿では,複数段階にわたる大規模言語モデルから著作権付きコンテンツを解放するための新しいフレームワークを提案する。 ランダムなラベリング損失を導入し、モデルの汎用的知識を確実に維持することにより、未学習の有効性を向上させる。 実験結果から,SSUは未学習の有効性と汎用言語能力とのトレードオフを効果的に達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-16T14:12:37Z)
• Machine Unlearning in Large Language Models [0.7864304771129751]
  本稿では,大規模言語モデル(LLM)を倫理,プライバシ,安全基準と整合させる手法を提案する。 本研究の目的は,LLMにおける学習情報を選択的に消去・修正することであり,有害な応答や著作権のあるコンテンツを対象としている。
  論文  参考訳（メタデータ） (2024-05-24T02:12:51Z)
• A Dataset and Benchmark for Copyright Infringement Unlearning from Text-to-Image Diffusion Models [52.49582606341111]
  著作権法は、クリエイティブ作品を再生、配布、収益化する排他的権利をクリエイターに与えている。 テキスト・ツー・イメージ・ジェネレーションの最近の進歩は、著作権の執行に重大な課題をもたらしている。 CLIP、ChatGPT、拡散モデルを調和させてデータセットをキュレートする新しいパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-01-04T11:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。