論文の概要: Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training

• arxiv url: http://arxiv.org/abs/2403.15740v2
• Date: Mon, 12 Aug 2024 08:21:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:38:15.627780
• Title: Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training
• Title（参考訳）: 大規模言語モデル学習における固有識別器による著作権物質保護
• Authors: Shuai Zhao, Linchao Zhu, Ruijie Quan, Yi Yang,
• Abstract要約: 大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
• 参考スコア（独自算出の注目度）: 55.321010757641524
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A major public concern regarding the training of large language models (LLMs) is whether they abusing copyrighted online text. Previous membership inference methods may be misled by similar examples in vast amounts of training data. Additionally, these methods are often too complex for general users to understand and use, making them centralized, lacking transparency, and trustworthiness. To address these issues, we propose an alternative \textit{insert-and-detection} methodology, advocating that web users and content platforms employ \textbf{\textit{unique identifiers}} for reliable and independent membership inference. Users and platforms can create their own identifiers, embed them in copyrighted text, and independently detect them in future LLMs. As an initial demonstration, we introduce \textit{ghost sentences}, a primitive form of unique identifiers, consisting primarily of passphrases made up of random words. By embedding one ghost sentences in a few copyrighted texts, users can detect its membership using a perplexity test and a \textit{user-friendly} last-$k$ words test. The perplexity test is based on the fact that LLMs trained on natural language should exhibit high perplexity when encountering unnatural passphrases. As the repetition increases, users can leverage the verbatim memorization ability of LLMs to perform a last-$k$ words test by chatting with LLMs without writing any code. Both tests offer rigorous statistical guarantees for membership inference. For LLaMA-13B, a perplexity test on 30 ghost sentences with an average of 7 repetitions in 148K examples yields a 0.891 ROC AUC. For the last-$k$ words test with OpenLLaMA-3B, 11 out of 16 users, with an average of 24 examples each, successfully identify their data from 1.8M examples.
• Abstract（参考訳）: 大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 さらに、これらの方法はしばしば、一般ユーザーが理解し、使用するには複雑すぎるため、中央集権化され、透明性が欠如し、信頼性が損なわれる。 これらの問題に対処するために、Webユーザとコンテンツプラットフォームは、信頼性と独立性のあるメンバシップ推論のために、 \textbf{\textit{uniqueidentations}} を採用することを提唱する、代替的な \textit{insert-and-detection} 手法を提案する。 ユーザとプラットフォームは、独自の識別子を作成し、著作権のあるテキストに埋め込み、将来のLLMでそれらを独立して検出することができる。 最初のデモとして、ランダムな単語からなるパスフレーズからなる、ユニークな識別子の原始的な形式である \textit{ghost sentences} を紹介する。 いくつかの著作権のあるテキストに1つのゴースト文を埋め込むことで、ユーザーはパープレキシティテストと‘textit{user-friendly} last-k$ words testでメンバーシップを検出することができる。 パープレキシティテストは、自然言語で訓練されたLSMが不自然なパスフレーズに遭遇する際に高いパープレキシティを示すという事実に基づいている。 繰り返しが増加するにつれて、ユーザはLLMの冗長な暗記能力を利用して、コードを書かずにLLMとチャットすることで、最後の$kの単語テストを実行することができる。 どちらのテストも、メンバーシップ推論の厳格な統計的保証を提供する。 LLaMA-13Bでは、平均で7回148Kの例で30のゴースト文に対するパープレキシティテストが行われ、0.891のOC AUCが得られた。 OpenLLaMA-3Bでの最後の$kのワードテストでは、16ユーザ中11ユーザがそれぞれ平均24のサンプルを使用して、1.8Mのサンプルからデータを識別することに成功した。

関連論文リスト

• ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
  LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。 本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。 以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T01:15:07Z)
• AIDBench: A benchmark for evaluating the authorship identification capability of large language models [14.866356328321126]
  我々は、大きな言語モデル(LLM)が匿名テキストの作者を特定するのに役立つ、特定のプライバシーリスクに焦点を当てる。 AIDBenchは、メール、ブログ、レビュー、記事、研究論文など、いくつかの著者識別データセットを組み込んだ新しいベンチマークである。 AIDBenchによる我々の実験は、LLMがランダムな確率よりもはるかに高い確率で著者を推測できることを示し、これらの強力なモデルによって引き起こされる新たなプライバシーリスクを明らかにした。
  論文  参考訳（メタデータ） (2024-11-20T11:41:08Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
  我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。 問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
  論文  参考訳（メタデータ） (2024-08-19T07:14:15Z)
• DE-COP: Detecting Copyrighted Content in Language Models Training Data [24.15936677068714]
  著作権のあるコンテンツの一部がトレーニングに含まれているかどうかを判定する手法であるDE-COPを提案する。 BookTectionは165冊の書籍から抜粋を抽出したベンチマークで、モデルによるトレーニングの切り離しの後に作成します。 実験の結果、DE-COPは検出性能が9.6%向上した。
  論文  参考訳（メタデータ） (2024-02-15T12:17:15Z)
• AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising [4.924903495092775]
  大きな言語モデル(LLM)は、人間の文章を忠実に模倣するテキストを作成し、潜在的に誤用につながる可能性がある。 本稿では,機械生成テキストと人文テキストを区別する効率的な分類器であるAuthentiGPTを提案する。 ドメイン固有のデータセットの0.918 AUROCスコアで、AuthentiGPTは、他の商用アルゴリズムよりも有効であることを示した。
  論文  参考訳（メタデータ） (2023-11-13T19:36:54Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。