論文の概要: Mosaic Memory: Fuzzy Duplication in Copyright Traps for Large Language Models
- arxiv url: http://arxiv.org/abs/2405.15523v1
- Date: Fri, 24 May 2024 13:05:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 14:22:48.282210
- Title: Mosaic Memory: Fuzzy Duplication in Copyright Traps for Large Language Models
- Title（参考訳）: モザイク記憶:大きな言語モデルのための著作権トラップにおけるファジィ重複
- Authors: Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye,
- Abstract要約: 著作権トラップはオリジナルコンテンツに注入されることが提案されており、新たにリリースされたLCMのコンテンツ検出性が改善されている。
Trapsはユニークなテキストシーケンスの正確な重複に依存しており、一般的にデプロイされるデータ重複のテクニックに弱いままである。
本稿では,複製間のわずかな変更を特徴とするファジィ著作権トラップの生成を提案する。
- 参考スコア（独自算出の注目度）: 7.405082919188384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The immense datasets used to develop Large Language Models (LLMs) often include copyright-protected content, typically without the content creator's consent. Copyright traps have been proposed to be injected into the original content, improving content detectability in newly released LLMs. Traps, however, rely on the exact duplication of a unique text sequence, leaving them vulnerable to commonly deployed data deduplication techniques. We here propose the generation of fuzzy copyright traps, featuring slight modifications across duplication. When injected in the fine-tuning data of a 1.3B LLM, we show fuzzy trap sequences to be memorized nearly as well as exact duplicates. Specifically, the Membership Inference Attack (MIA) ROC AUC only drops from 0.90 to 0.87 when 4 tokens are replaced across the fuzzy duplicates. We also find that selecting replacement positions to minimize the exact overlap between fuzzy duplicates leads to similar memorization, while making fuzzy duplicates highly unlikely to be removed by any deduplication process. Lastly, we argue that the fact that LLMs memorize across fuzzy duplicates challenges the study of LLM memorization relying on naturally occurring duplicates. Indeed, we find that the commonly used training dataset, The Pile, contains significant amounts of fuzzy duplicates. This introduces a previously unexplored confounding factor in post-hoc studies of LLM memorization, and questions the effectiveness of (exact) data deduplication as a privacy protection technique.
- Abstract（参考訳）: LLM(Large Language Models)の開発に使用される膨大なデータセットは、しばしば著作権保護されたコンテンツを含んでいる。
著作権トラップはオリジナルコンテンツに注入されることが提案されており、新たにリリースされたLCMのコンテンツ検出性が改善されている。
しかし、トラップはユニークなテキストシーケンスの正確な重複に依存しており、一般的にデプロイされるデータ重複のテクニックに弱いままである。
ここでは,複製間のわずかな変更を特徴とするファジィ著作権トラップの生成を提案する。
1.3B LLMの微調整データに注入すると、ファジィトラップシーケンスは正確に複製されるのと同様に記憶される。
具体的には、メンバーシップ推論攻撃(MIA)ROC AUCはファジィ複製で4つのトークンが交換されるときのみ0.90から0.87に低下する。
また, ファジィ重複の正確な重複を最小限に抑えるために置換位置を選択すると, ファジィ重複をデデューズ処理で除去する可能性が極めて低いのに対し, ファジィ重複の完全重複を最小化する。
最後に, LLM がファジィにまたがって記憶されるという事実は, 自然発生重複に依存する LLM 記憶の研究に挑戦する。
実際、一般的に使用されているトレーニングデータセットであるThe Pileには、かなりの量のファジィ複製が含まれていることが分かりました。
このことは、LLM記憶のポストホックな研究において、未解明のコンファウンディング因子を導入し、プライバシ保護技術としての(実際に)データ重複の有効性を疑問視する。
関連論文リスト
- Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳（メタデータ） (2025-02-17T18:59:02Z) - DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。
本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
論文 参考訳（メタデータ） (2024-12-23T12:44:54Z) - PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection [26.191836276118696]
46.5Kの合成テキストペアのデータセットである textbfsf PlagBench を紹介する。
PlagBenchは、きめ細かい自動評価と人間のアノテーションを組み合わせることで検証される。
GPT-3.5 Turbo は GPT-4 Turbo と比較してテキストの複雑さを著しく増大させることなく高品質なパラフレーズや要約を生成できることを示す。
論文 参考訳（メタデータ） (2024-06-24T03:29:53Z) - On the Effect of (Near) Duplicate Subwords in Language Modelling [43.18042176382878]
ほぼ重複したサブワードがLMトレーニング効率に及ぼす影響について検討する。
完全に複製された環境でトレーニングを行う場合、LMには約17%のデータが必要であることが分かりました。
副語重複はLM訓練効率に悪影響を及ぼすが、自然に重複の近くで起こることは予想されるほどは似ていないかもしれない。
論文 参考訳（メタデータ） (2024-04-09T17:57:29Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-05T19:32:01Z) - Copyright Traps for Large Language Models [6.902279764206365]
我々は著作権トラップを用いて,大規模言語モデルにおける著作権コンテンツの使用を検出することを提案する。
1.3Bモデルをスクラッチからトレーニングし、オリジナルコンテンツ(ブック)にトラップを挿入します。
直観とは裏腹に,従来の手法では,中長のトラップ文の繰り返し(100)が検出できないことが示されている。
論文 参考訳（メタデータ） (2024-02-14T18:09:53Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳（メタデータ） (2023-09-07T17:45:31Z) - Mitigating the Learning Bias towards Repetition by Self-Contrastive
Training for Open-Ended Generation [92.42032403795879]
GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。
トークンレベルの反復確率の過大評価は学習バイアスに起因している。
LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
論文 参考訳（メタデータ） (2023-07-04T07:53:55Z) - Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
論文 参考訳（メタデータ） (2023-05-31T17:58:02Z) - Semantic Compression With Large Language Models [1.0874100424278175]
大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。
LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。
本稿では,LLMの研究への3つの貢献について述べる。
論文 参考訳（メタデータ） (2023-04-25T01:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。