論文の概要: Avoiding Copyright Infringement via Machine Unlearning

• arxiv url: http://arxiv.org/abs/2406.10952v1
• Date: Sun, 16 Jun 2024 14:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:52:39.156998
• Title: Avoiding Copyright Infringement via Machine Unlearning
• Title（参考訳）: 機械学習による著作権侵害の回避
• Authors: Guangyao Dou, Zheyuan Liu, Qing Lyu, Kaize Ding, Eric Wong,
• Abstract要約: 我々は,Large Language Models (LLMs) のための新しいアンラーニングフレームワークであるSSU(Stable Sequential Unlearning)を提案する。 SSUは、タスクベクトルを使用して異なる時間ステップを通してLLMから著作権付きコンテンツを削除するためのより安定したプロセスを持つように設計されている。 SSUは、未学習の有効性とモデルの一般的な知識の維持のバランスが良好である。
• 参考スコア（独自算出の注目度）: 24.050754626661124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained Large Language Models (LLMs) have demonstrated remarkable capabilities but also pose risks by learning and generating copyrighted material, leading to significant legal and ethical concerns. To address these issues, it is critical for model owners to be able to unlearn copyrighted content at various time steps. We explore the setting of sequential unlearning, where copyrighted content is removed over multiple time steps - a scenario that has not been rigorously addressed. To tackle this challenge, we propose Stable Sequential Unlearning (SSU), a novel unlearning framework for LLMs, designed to have a more stable process to remove copyrighted content from LLMs throughout different time steps using task vectors, by incorporating additional random labeling loss and applying gradient-based weight saliency mapping. Experiments demonstrate that SSU finds a good balance between unlearning efficacy and maintaining the model's general knowledge compared to existing baselines.
• Abstract（参考訳）: 事前訓練されたLarge Language Models (LLMs) は目覚ましい能力を示したが、著作権のある資料の学習と生成によるリスクも生じており、法的、倫理的懸念を招いている。 これらの問題に対処するためには、モデル所有者が様々な時間ステップで著作権付きコンテンツを公開できることが不可欠である。 著作権付きコンテンツを複数のステップで削除する、シーケンシャルなアンラーニングの設定について検討する。 この課題に対処するために,タスクベクトルを用いてLLMから著作権付きコンテンツを削除し,さらにランダムなラベリング損失を付加し,勾配に基づく重み度マッピングを適用して,より安定したプロセスを実現するための,新しいLLMの非学習フレームワークであるSSUを提案する。 実験により、SSUは、未学習の有効性と、既存のベースラインと比較してモデルの一般的な知識の維持との間に良いバランスがあることが示されている。

関連論文リスト

• Investigating the Feasibility of Mitigating Potential Copyright Infringement via Large Language Model Unlearning [0.0]
  LLM(Pre-trained Large Language Models)は、優れた能力を示すと同時に、著作権のある資料の学習と生成によるリスクも生んでいる。 本研究では,LLMから複数の時間ステップで著作権付きコンテンツを解放する新しいフレームワークであるSSU(Stable Sequential Unlearning)を提案する。 SSUは時に、未学習の有効性と汎用言語能力の効果的なトレードオフを達成し、既存のベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-12-16T20:01:06Z)
• Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
  大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。 これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。 学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
  論文  参考訳（メタデータ） (2024-12-09T21:36:10Z)
• Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
  著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。 我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。 透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T16:53:09Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Evaluating Copyright Takedown Methods for Language Models [100.38129820325497]
  言語モデル(LM)は、潜在的に著作権のある資料を含む様々なデータに対する広範な訓練からその能力を引き出す。 本稿では,LMの著作権削除の可能性と副作用を初めて評価する。 システムプロンプトの追加、デコード時間フィルタリングの介入、未学習アプローチなど、いくつかの戦略を検討する。
  論文  参考訳（メタデータ） (2024-06-26T18:09:46Z)
• Machine Unlearning in Large Language Models [0.7864304771129751]
  本稿では,大規模言語モデル(LLM)を倫理,プライバシ,安全基準と整合させる手法を提案する。 本研究の目的は,LLMにおける学習情報を選択的に消去・修正することであり,有害な応答や著作権のあるコンテンツを対象としている。
  論文  参考訳（メタデータ） (2024-05-24T02:12:51Z)
• Copyright Traps for Large Language Models [6.902279764206365]
  我々は著作権トラップを用いて,大規模言語モデルにおける著作権コンテンツの使用を検出することを提案する。 1.3Bモデルをスクラッチからトレーニングし、オリジナルコンテンツ(ブック)にトラップを挿入します。 直観とは裏腹に,従来の手法では,中長のトラップ文の繰り返し(100)が検出できないことが示されている。
  論文  参考訳（メタデータ） (2024-02-14T18:09:53Z)
• A Dataset and Benchmark for Copyright Infringement Unlearning from Text-to-Image Diffusion Models [52.49582606341111]
  著作権法は、クリエイティブ作品を再生、配布、収益化する排他的権利をクリエイターに与えている。 テキスト・ツー・イメージ・ジェネレーションの最近の進歩は、著作権の執行に重大な課題をもたらしている。 CLIP、ChatGPT、拡散モデルを調和させてデータセットをキュレートする新しいパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-01-04T11:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。