論文の概要: Copyright Traps for Large Language Models

• arxiv url: http://arxiv.org/abs/2402.09363v2
• Date: Tue, 4 Jun 2024 21:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 01:21:50.732557
• Title: Copyright Traps for Large Language Models
• Title（参考訳）: 大規模言語モデルのための著作権トラップ
• Authors: Matthieu Meeus, Igor Shilov, Manuel Faysse, Yves-Alexandre de Montjoye,
• Abstract要約: 我々は著作権トラップを用いて,大規模言語モデルにおける著作権コンテンツの使用を検出することを提案する。 1.3Bモデルをスクラッチからトレーニングし、オリジナルコンテンツ(ブック)にトラップを挿入します。 直観とは裏腹に,従来の手法では,中長のトラップ文の繰り返し(100)が検出できないことが示されている。
• 参考スコア（独自算出の注目度）: 6.902279764206365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Questions of fair use of copyright-protected content to train Large Language Models (LLMs) are being actively debated. Document-level inference has been proposed as a new task: inferring from black-box access to the trained model whether a piece of content has been seen during training. SOTA methods however rely on naturally occurring memorization of (part of) the content. While very effective against models that memorize significantly, we hypothesize--and later confirm--that they will not work against models that do not naturally memorize, e.g. medium-size 1B models. We here propose to use copyright traps, the inclusion of fictitious entries in original content, to detect the use of copyrighted materials in LLMs with a focus on models where memorization does not naturally occur. We carefully design a randomized controlled experimental setup, inserting traps into original content (books) and train a 1.3B LLM from scratch. We first validate that the use of content in our target model would be undetectable using existing methods. We then show, contrary to intuition, that even medium-length trap sentences repeated a significant number of times (100) are not detectable using existing methods. However, we show that longer sequences repeated a large number of times can be reliably detected (AUC=0.75) and used as copyright traps. Beyond copyright applications, our findings contribute to the study of LLM memorization: the randomized controlled setup enables us to draw causal relationships between memorization and certain sequence properties such as repetition in model training data and perplexity.
• Abstract（参考訳）: LLM(Large Language Models)のトレーニングに著作権保護されたコンテンツの公正使用に関する質問が活発に議論されている。 トレーニング中にコンテンツが見られたかどうかをトレーニングモデルにブラックボックスアクセスから推測する。 しかし、SOTA法はコンテンツの一部を自然に記憶することに依存している。 暗記するモデルに対して非常に効果的であるが、我々は仮説を立て、後に、自然に暗記しないモデル、例えば中規模1Bモデルに対して作用しないことを確証する。 本稿では、オリジナルコンテンツに架空のエントリを含む著作権トラップを用いて、暗記が自然に起こらないモデルに焦点をあてて、LLMにおける著作権物質の使用を検出することを提案する。 ランダムに制御された実験装置を慎重に設計し、オリジナルコンテンツ(書籍)にトラップを挿入し、スクラッチから1.3B LLMを訓練する。 まず、ターゲットモデルにおけるコンテンツの使用が既存の手法で検出できないことを検証する。 直観とは対照的に,従来の手法では,中長のトラップ文の繰り返し(100)が検出できないことが示される。 しかし,複数回繰り返す長いシーケンスを確実に検出でき(AUC=0.75),著作権トラップとして利用できることを示す。 ランダムに制御された設定により、モデルトレーニングデータやパープレキシティの繰り返しなど、記憶と特定のシーケンス特性の因果関係を描けるようになります。

関連論文リスト

• Demystifying Verbatim Memorization in Large Language Models [67.49068128909349]
  大きな言語モデル(LLM)は、しばしば長いシーケンスを冗長に記憶し、しばしば深刻な法的およびプライバシー上の意味を持つ。 我々は, Pythia チェックポイントからのプレトレーニングをインジェクトシーケンスで継続することにより, 制御された環境下での動詞の暗記を学習する枠組みを開発する。 その結果,(1) 動詞の暗記には非自明な繰り返しが必要であり,(2) 後続の(おそらくはより良い)チェックポイントは,アウト・オブ・ディストリビューション・シーケンスであっても,動詞の列を暗記する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:10:31Z)
• Avoiding Copyright Infringement via Large Language Model Unlearning [24.050754626661124]
  本稿では,複数段階にわたる大規模言語モデルから著作権付きコンテンツを解放するための新しいフレームワークを提案する。 ランダムなラベリング損失を導入し、モデルの汎用的知識を確実に維持することにより、未学習の有効性を向上させる。 実験結果から,SSUは未学習の有効性と汎用言語能力とのトレードオフを効果的に達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-16T14:12:37Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Mosaic Memory: Fuzzy Duplication in Copyright Traps for Large Language Models [7.405082919188384]
  著作権トラップはオリジナルコンテンツに注入されることが提案されており、新たにリリースされたLCMのコンテンツ検出性が改善されている。 Trapsはユニークなテキストシーケンスの正確な重複に依存しており、一般的にデプロイされるデータ重複のテクニックに弱いままである。 本稿では,複製間のわずかな変更を特徴とするファジィ著作権トラップの生成を提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:05:05Z)
• Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
  Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。 ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。 本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T15:49:37Z)
• DE-COP: Detecting Copyrighted Content in Language Models Training Data [24.15936677068714]
  著作権のあるコンテンツの一部がトレーニングに含まれているかどうかを判定する手法であるDE-COPを提案する。 BookTectionは165冊の書籍から抜粋を抽出したベンチマークで、モデルによるトレーニングの切り離しの後に作成します。 実験の結果、DE-COPは検出性能が9.6%向上した。
  論文  参考訳（メタデータ） (2024-02-15T12:17:15Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。