論文の概要: Mosaic Memory: Fuzzy Duplication in Copyright Traps for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.15523v1
• Date: Fri, 24 May 2024 13:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:22:48.282210
• Title: Mosaic Memory: Fuzzy Duplication in Copyright Traps for Large Language Models
• Title（参考訳）: モザイク記憶:大きな言語モデルのための著作権トラップにおけるファジィ重複
• Authors: Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye,
• Abstract要約: 著作権トラップはオリジナルコンテンツに注入されることが提案されており、新たにリリースされたLCMのコンテンツ検出性が改善されている。 Trapsはユニークなテキストシーケンスの正確な重複に依存しており、一般的にデプロイされるデータ重複のテクニックに弱いままである。 本稿では,複製間のわずかな変更を特徴とするファジィ著作権トラップの生成を提案する。
• 参考スコア（独自算出の注目度）: 7.405082919188384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The immense datasets used to develop Large Language Models (LLMs) often include copyright-protected content, typically without the content creator's consent. Copyright traps have been proposed to be injected into the original content, improving content detectability in newly released LLMs. Traps, however, rely on the exact duplication of a unique text sequence, leaving them vulnerable to commonly deployed data deduplication techniques. We here propose the generation of fuzzy copyright traps, featuring slight modifications across duplication. When injected in the fine-tuning data of a 1.3B LLM, we show fuzzy trap sequences to be memorized nearly as well as exact duplicates. Specifically, the Membership Inference Attack (MIA) ROC AUC only drops from 0.90 to 0.87 when 4 tokens are replaced across the fuzzy duplicates. We also find that selecting replacement positions to minimize the exact overlap between fuzzy duplicates leads to similar memorization, while making fuzzy duplicates highly unlikely to be removed by any deduplication process. Lastly, we argue that the fact that LLMs memorize across fuzzy duplicates challenges the study of LLM memorization relying on naturally occurring duplicates. Indeed, we find that the commonly used training dataset, The Pile, contains significant amounts of fuzzy duplicates. This introduces a previously unexplored confounding factor in post-hoc studies of LLM memorization, and questions the effectiveness of (exact) data deduplication as a privacy protection technique.
• Abstract（参考訳）: LLM(Large Language Models)の開発に使用される膨大なデータセットは、しばしば著作権保護されたコンテンツを含んでいる。 著作権トラップはオリジナルコンテンツに注入されることが提案されており、新たにリリースされたLCMのコンテンツ検出性が改善されている。 しかし、トラップはユニークなテキストシーケンスの正確な重複に依存しており、一般的にデプロイされるデータ重複のテクニックに弱いままである。 ここでは,複製間のわずかな変更を特徴とするファジィ著作権トラップの生成を提案する。 1.3B LLMの微調整データに注入すると、ファジィトラップシーケンスは正確に複製されるのと同様に記憶される。 具体的には、メンバーシップ推論攻撃(MIA)ROC AUCはファジィ複製で4つのトークンが交換されるときのみ0.90から0.87に低下する。 また, ファジィ重複の正確な重複を最小限に抑えるために置換位置を選択すると, ファジィ重複をデデューズ処理で除去する可能性が極めて低いのに対し, ファジィ重複の完全重複を最小化する。 最後に, LLM がファジィにまたがって記憶されるという事実は, 自然発生重複に依存する LLM 記憶の研究に挑戦する。 実際、一般的に使用されているトレーニングデータセットであるThe Pileには、かなりの量のファジィ複製が含まれていることが分かりました。 このことは、LLM記憶のポストホックな研究において、未解明のコンファウンディング因子を導入し、プライバシ保護技術としての(実際に)データ重複の有効性を疑問視する。

関連論文リスト

• On the Effect of (Near) Duplicate Subwords in Language Modelling [43.18042176382878]
  ほぼ重複したサブワードがLMトレーニング効率に及ぼす影響について検討する。 完全に複製された環境でトレーニングを行う場合、LMには約17%のデータが必要であることが分かりました。 副語重複はLM訓練効率に悪影響を及ぼすが、自然に重複の近くで起こることは予想されるほどは似ていないかもしれない。
  論文  参考訳（メタデータ） (2024-04-09T17:57:29Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• FakeNewsGPT4: Advancing Multimodal Fake News Detection through Knowledge-Augmented LVLMs [50.13829380113614]
  本稿では,大規模視覚言語モデル(Large Vision-Language Models)を,操作推論のためのフォージェリ固有の知識で拡張する新しいフレームワークを提案する。 FakeNewsGPT4は、以前の方法よりも優れたクロスドメインパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-03-04T12:35:09Z)
• Copyright Traps for Large Language Models [6.902279764206365]
  我々は著作権トラップを用いて,大規模言語モデルにおける著作権コンテンツの使用を検出することを提案する。 1.3Bモデルをスクラッチからトレーニングし、オリジナルコンテンツ(ブック)にトラップを挿入します。 直観とは裏腹に,従来の手法では,中長のトラップ文の繰り返し(100)が検出できないことが示されている。
  論文  参考訳（メタデータ） (2024-02-14T18:09:53Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Semantic Compression With Large Language Models [1.0874100424278175]
  大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。 LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。 本稿では,LLMの研究への3つの貢献について述べる。
  論文  参考訳（メタデータ） (2023-04-25T01:47:05Z)
• Quantifying Memorization Across Neural Language Models [61.58529162310382]
  大規模言語モデル(LM)は、トレーニングデータの一部を記憶するために示され、適切に誘導されると、記憶されたデータを冗長に出力する。 これは、暗記がプライバシーを侵害し(ユーザーデータをエクスポーティングする)、実用性を低下させ(繰り返し覚えやすいテキストは、しばしば品質が低い)、公平性を損なうため、望ましくない。 本稿では、LMが記憶されたトレーニングデータを出力する度合いを定量化する3つの対数線形関係について述べる。
  論文  参考訳（メタデータ） (2022-02-15T18:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。