論文の概要: Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training

• arxiv url: http://arxiv.org/abs/2403.15740v3
• Date: Wed, 16 Jul 2025 11:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:10.968271
• Title: Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training
• Title（参考訳）: 大規模言語モデル学習における固有識別器による著作権物質保護
• Authors: Shuai Zhao, Linchao Zhu, Ruijie Quan, Yi Yang,
• Abstract要約: 大きな言語モデル(LLM)のトレーニングに関する主要な関心事は、著作権のあるオンラインテキストを悪用するかどうかである。 本稿では,Web ユーザとコンテンツプラットフォームがtextbftextitunique 識別子を,信頼性と独立性のあるメンバシップ推論に活用することを提唱する,代替の textitinsert-and-detect 手法を提案する。
• 参考スコア（独自算出の注目度）: 55.321010757641524
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A primary concern regarding training large language models (LLMs) is whether they abuse copyrighted online text. With the increasing training data scale and the prevalence of LLMs in daily lives, two problems arise: \textbf{1)} false positive membership inference results misled by similar examples; \textbf{2)} membership inference methods are usually too complex for end users to understand and use. To address these issues, we propose an alternative \textit{insert-and-detect} methodology, advocating that web users and content platforms employ \textbf{\textit{unique identifiers}} for reliable and independent membership inference. Users and platforms can create their identifiers, embed them in copyrighted text, and independently detect them in future LLMs. As an initial demonstration, we introduce \textit{\textbf{ghost sentences}} and a user-friendly last-$k$ words test, allowing end users to chat with LLMs for membership inference. Ghost sentences consist primarily of unique passphrases of random natural words, which can come with customized elements to bypass possible filter rules. The last-$k$ words test requires a significant repetition time of ghost sentences~($\ge10$). For cases with fewer repetitions, we designed an extra perplexity test, as LLMs exhibit high perplexity when encountering unnatural passphrases. We also conduct a comprehensive study on the memorization and membership inference of ghost sentences, examining factors such as training data scales, model sizes, repetition times, insertion positions, wordlist of passphrases, alignment, \textit{etc}. Our study shows the possibility of applying ghost sentences in real scenarios and provides instructions for the potential application.
• Abstract（参考訳）: 大きな言語モデル(LLM)のトレーニングに関する主要な関心事は、著作権のあるオンラインテキストを悪用するかどうかである。 トレーニングデータスケールの増大と日常生活におけるLLMの普及により、2つの問題が生じる: \textbf{1} false positive member inference results misled by similar example; \textbf{2} membership inference method is too complex to end users to understand and use。 これらの問題に対処するために、Webユーザとコンテンツプラットフォームは、信頼性と独立性のあるメンバシップ推論のために、 \textbf{\textit{uniqueidentations}} を採用することを提唱する、代替の \textit{insert-and-detect} 方法論を提案する。 ユーザとプラットフォームは、識別子を作成し、著作権のあるテキストに埋め込んで、将来のLCMで独立して検出することができる。 最初のデモとして、ユーザフレンドリーなLast-k$ワードテストと、‘textit{\textbf{ghost sentences}}を導入します。 ゴースト文は、主にランダムな自然言語のユニークなパスフレーズで構成されており、フィルタールールをバイパスするためにカスタマイズされた要素が付属する。 最後の$k$ワードテストでは、ゴースト文の大幅な反復時間~($\ge10$)が必要である。 反復頻度が低い症例に対しては,不自然なパスフレーズに遭遇した場合にLLMが高いパープレキシティを示すため,余分なパープレキシティ試験を設計した。 また、学習データ尺度、モデルサイズ、反復時間、挿入位置、パスフレーズのワードリスト、アライメント、 \textit{etc} など、ゴースト文の記憶とメンバーシップ推定に関する総合的研究を行った。 本研究は, 現実のシナリオにゴースト文を適用する可能性を示し, 潜在的な応用を指示する。

関連論文リスト

• Hallucination Detection with Small Language Models [1.9181612035055007]
  本稿では,大規模言語モデルによって生成された応答を検証するために,複数の小言語モデルを統合するフレームワークを提案する。 その結果,幻覚と比較してF1スコアが10%改善し,正しい反応が検出できた。
  論文  参考訳（メタデータ） (2025-06-24T02:19:26Z)
• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [53.17363502535395]
  信頼できる言語モデルは、正しい答えと検証可能な答えの両方を提供するべきです。 現在のシステムは、外部レトリバーを推論時にクエリすることで、引用を挿入する。 本稿では,合成QAペアを継続的に事前訓練するActive Indexingを提案する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [65.27124213266491]
  テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。 CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。 我々の理論的分析は、提案された攻撃の優越性を示唆している。
  論文  参考訳（メタデータ） (2025-05-21T10:08:39Z)
• ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
  LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。 本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。 以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T01:15:07Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [44.84219266082269]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• AIDBench: A benchmark for evaluating the authorship identification capability of large language models [14.866356328321126]
  我々は、大きな言語モデル(LLM)が匿名テキストの作者を特定するのに役立つ、特定のプライバシーリスクに焦点を当てる。 AIDBenchは、メール、ブログ、レビュー、記事、研究論文など、いくつかの著者識別データセットを組み込んだ新しいベンチマークである。 AIDBenchによる我々の実験は、LLMがランダムな確率よりもはるかに高い確率で著者を推測できることを示し、これらの強力なモデルによって引き起こされる新たなプライバシーリスクを明らかにした。
  論文  参考訳（メタデータ） (2024-11-20T11:41:08Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
  我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。 問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
  論文  参考訳（メタデータ） (2024-08-19T07:14:15Z)
• DE-COP: Detecting Copyrighted Content in Language Models Training Data [24.15936677068714]
  著作権のあるコンテンツの一部がトレーニングに含まれているかどうかを判定する手法であるDE-COPを提案する。 BookTectionは165冊の書籍から抜粋を抽出したベンチマークで、モデルによるトレーニングの切り離しの後に作成します。 実験の結果、DE-COPは検出性能が9.6%向上した。
  論文  参考訳（メタデータ） (2024-02-15T12:17:15Z)
• AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising [4.924903495092775]
  大きな言語モデル(LLM)は、人間の文章を忠実に模倣するテキストを作成し、潜在的に誤用につながる可能性がある。 本稿では,機械生成テキストと人文テキストを区別する効率的な分類器であるAuthentiGPTを提案する。 ドメイン固有のデータセットの0.918 AUROCスコアで、AuthentiGPTは、他の商用アルゴリズムよりも有効であることを示した。
  論文  参考訳（メタデータ） (2023-11-13T19:36:54Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Detecting Language Model Attacks with Perplexity [0.0]
  LLM(Large Language Models)を含む新たなハックが出現し、敵の接尾辞を利用してモデルを騙し、危険な応答を発生させた。 難易度とトークン長を訓練したLight-GBMは偽陽性を解消し、テストセットのほとんどの敵攻撃を正しく検出した。
  論文  参考訳（メタデータ） (2023-08-27T15:20:06Z)
• Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models [7.782346535009883]
  本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:10:39Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)
• Contextual Multi-View Query Learning for Short Text Classification in User-Generated Data [6.052423212814052]
  COCOBAは2つのビューを構築するためにユーザ投稿のコンテキストを利用する。 次に、各ビューにおける表現の分布を使用して、反対のクラスに割り当てられた領域を検出する。 我々のモデルは、通常ノイズの多いユーザ投稿の言語に対処するために、クエリ・バイ・コミッテ・モデルも採用しています。
  論文  参考訳（メタデータ） (2021-12-05T16:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。