論文の概要: SUV: Scalable Large Language Model Copyright Compliance with Regularized Selective Unlearning

• arxiv url: http://arxiv.org/abs/2503.22948v1
• Date: Sat, 29 Mar 2025 02:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:40:07.017260
• Title: SUV: Scalable Large Language Model Copyright Compliance with Regularized Selective Unlearning
• Title（参考訳）: SUV: 正規化選択学習によるスケーラブルな大規模言語モデル著作権コンプライアンス
• Authors: Tianyang Xu, Xiaoze Liu, Feijie Wu, Xiaoqian Wang, Jing Gao,
• Abstract要約: SUVは、大規模言語モデルが著作権のあるコンテンツを記憶することを防ぐために設計された選択的なアンラーニングフレームワークである。 私たちは、冗長な著作権のあるコンテンツを、プラウシブルで一貫性のある代替品に置き換えます。 我々は,500冊の有名な書籍の大規模データセットを用いて,我々のアプローチを検証する。
• 参考スコア（独自算出の注目度）: 22.76025238218253
• License:
• Abstract: Large Language Models (LLMs) have transformed natural language processing by learning from massive datasets, yet this rapid progress has also drawn legal scrutiny, as the ability to unintentionally generate copyrighted content has already prompted several prominent lawsuits. In this work, we introduce SUV (Selective Unlearning for Verbatim data), a selective unlearning framework designed to prevent LLM from memorizing copyrighted content while preserving its overall utility. In detail, the proposed method constructs a dataset that captures instances of copyrighted infringement cases by the targeted LLM. With the dataset, we unlearn the content from the LLM by means of Direct Preference Optimization (DPO), which replaces the verbatim copyrighted content with plausible and coherent alternatives. Since DPO may hinder the LLM's performance in other unrelated tasks, we integrate gradient projection and Fisher information regularization to mitigate the degradation. We validate our approach using a large-scale dataset of 500 famous books (predominantly copyrighted works) and demonstrate that SUV significantly reduces verbatim memorization with negligible impact on the performance on unrelated tasks. Extensive experiments on both our dataset and public benchmarks confirm the scalability and efficacy of our approach, offering a promising solution for mitigating copyright risks in real-world LLM applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大量のデータセットから学習することで自然言語処理を変革しているが、著作権のあるコンテンツを意図せずに生成する能力が既にいくつかの顕著な訴訟を引き起こしているため、この急激な進歩は法的な精査も引き起こしている。 本研究では,SUV(Selective Unlearning for Verbatim data)について紹介する。これは,LPMが著作権のあるコンテンツを記憶するのを防ぐために設計された,選択的なアンラーニングフレームワークである。 提案手法は,著作権侵害事件の事例を対象のLLMによってキャプチャするデータセットを構築する。 このデータセットを用いて,本論文のコンテンツはDPO (Direct Preference Optimization) を用いてLLMから学習し,冗長な著作権のあるコンテンツを可塑性で一貫性のある代替品に置き換える。 DPOは、他の非関連タスクにおけるLCMの性能を阻害する可能性があるため、勾配予測とフィッシャー情報の正規化を統合して劣化を緩和する。 我々は,500冊の有名な書籍(著作権を侵害された作品)の大規模データセットを用いて,我々のアプローチを検証し,SUVが無関係なタスクのパフォーマンスに無視できない影響で,動詞の暗記を著しく低減できることを実証した。 我々のデータセットと公開ベンチマークの両方に対する大規模な実験は、我々のアプローチのスケーラビリティと有効性を確認し、現実のLLMアプリケーションにおける著作権リスクを軽減するための有望なソリューションを提供する。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Differentially Private Steering for Large Language Model Alignment [55.30573701583768]
  本稿では,大規模言語モデルとプライベートデータセットの整合性に関する最初の研究について述べる。 本研究は,プライバシ保証付きアクティベーションを編集するPSA(Private Steering for LLM Alignment)アルゴリズムを提案する。 以上の結果から,PSAはLPMアライメントのDP保証を実現し,性能の低下を最小限に抑えることができた。
  論文  参考訳（メタデータ） (2025-01-30T17:58:36Z)
• Investigating the Feasibility of Mitigating Potential Copyright Infringement via Large Language Model Unlearning [0.0]
  LLM(Pre-trained Large Language Models)は、優れた能力を示すと同時に、著作権のある資料の学習と生成によるリスクも生んでいる。 本研究では,LLMから複数の時間ステップで著作権付きコンテンツを解放する新しいフレームワークであるSSU(Stable Sequential Unlearning)を提案する。 SSUは時に、未学習の有効性と汎用言語能力の効果的なトレードオフを達成し、既存のベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-12-16T20:01:06Z)
• Can Watermarking Large Language Models Prevent Copyrighted Text Generation and Hide Training Data? [62.72729485995075]
  著作権文書の生成に対する抑止剤としての透かしの有効性について検討する。 我々は、透かしがメンバーシップ推論攻撃(MIA)の成功率に悪影響を及ぼすことを発見した。 透かしにおける最近のMIAの成功率を改善するための適応的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-24T16:53:09Z)
• Avoiding Copyright Infringement via Large Language Model Unlearning [24.050754626661124]
  本稿では,複数段階にわたる大規模言語モデルから著作権付きコンテンツを解放するための新しいフレームワークを提案する。 ランダムなラベリング損失を導入し、モデルの汎用的知識を確実に維持することにより、未学習の有効性を向上させる。 実験結果から,SSUは未学習の有効性と汎用言語能力とのトレードオフを効果的に達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-16T14:12:37Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Purifying Large Language Models by Ensembling a Small Language Model [39.57304668057076]
  未処理データによる負の効果からLCMを浄化する簡易かつ容易に実装できる手法を提案する。 良性および小言語モデル(SLM)を用いたLLMのアンサンブルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-19T14:00:39Z)
• SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [159.21914121143885]
  推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。 SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。 データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
  論文  参考訳（メタデータ） (2023-08-08T17:58:15Z)
• Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark [58.60940048748815]
  企業は大規模な言語モデル(LLM)に基づいたEmbeddding as a Service(E)の提供を開始した。 Eはモデル抽出攻撃に弱いため、LLMの所有者に重大な損失をもたらす可能性がある。 埋め込みにバックドアを埋め込むEmbMarkerという埋め込み透かし手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。