論文の概要: Special Characters Attack: Toward Scalable Training Data Extraction From Large Language Models

• arxiv url: http://arxiv.org/abs/2405.05990v2
• Date: Mon, 20 May 2024 14:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 20:25:40.051136
• Title: Special Characters Attack: Toward Scalable Training Data Extraction From Large Language Models
• Title（参考訳）: 特殊文字攻撃:大規模言語モデルからのスケーラブルなトレーニングデータ抽出を目指して
• Authors: Yang Bai, Ge Pei, Jindong Gu, Yong Yang, Xingjun Ma,
• Abstract要約: 特定の特殊文字またはそれらと英語の文字の組み合わせがより強いメモリトリガーであり、より深刻なデータ漏洩を引き起こすことを示す。 トレーニングデータ漏洩を誘発する簡易かつ効果的な特殊文字攻撃(SCA)を提案する。
• 参考スコア（独自算出の注目度）: 36.58320580210008
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable performance on a wide range of tasks. However, recent studies have shown that LLMs can memorize training data and simple repeated tokens can trick the model to leak the data. In this paper, we take a step further and show that certain special characters or their combinations with English letters are stronger memory triggers, leading to more severe data leakage. The intuition is that, since LLMs are trained with massive data that contains a substantial amount of special characters (e.g. structural symbols {, } of JSON files, and @, # in emails and online posts), the model may memorize the co-occurrence between these special characters and the raw texts. This motivates us to propose a simple but effective Special Characters Attack (SCA) to induce training data leakage. Our experiments verify the high effectiveness of SCA against state-of-the-art LLMs: they can leak diverse training data, such as code corpus, web pages, and personally identifiable information, and sometimes generate non-stop outputs as a byproduct. We further show that the composition of the training data corpus can be revealed by inspecting the leaked data -- one crucial piece of information for pre-training high-performance LLMs. Our work can help understand the sensitivity of LLMs to special characters and identify potential areas for improvement.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにおいて顕著なパフォーマンスを実現している。 しかし、最近の研究では、LLMはトレーニングデータを記憶でき、単純な繰り返しトークンはモデルを騙してデータを漏洩させることが示されている。 本稿では、さらに一歩進めて、特定の特殊文字またはそれらと英語の文字の組み合わせがより強いメモリトリガであることを示す。 LLMはJSONファイルの構造記号 {, } と @, # を含む大量の特殊文字を含む大量のデータで訓練されているため、このモデルはこれらの特殊文字と原文の共起を記憶することができる。 これにより、トレーニングデータ漏洩を誘発する簡易かつ効果的な特殊文字攻撃(SCA)を提案する。 コードコーパスやWebページ,個人識別可能な情報など,さまざまなトレーニングデータをリークし,時には副産物として非ストップ出力を生成することができる。 さらに, 学習データコーパスの構成は, 漏洩したデータを検査することで明らかにできることを示す。 我々の研究は、LLMの特殊文字に対する感受性を理解し、改善のための潜在的な領域を特定するのに役立ちます。

関連論文リスト

• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T18:27:03Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Elephants Never Forget: Testing Language Models for Memorization of Tabular Data [21.912611415307644]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 本稿では, 条件分布モデリングの統計的テストや, 暗記を識別する4つのテストなど, 汚染度を評価するための様々な手法を紹介する。
  論文  参考訳（メタデータ） (2024-03-11T12:07:13Z)
• Pre-training LLMs using human-like development data corpus [3.5757761767474876]
  我々は,子どもが見るのとほぼ同じ数のトークンを用いて,文脈的単語表現を学習する能力について,LLM(Large Language Models)を事前訓練し評価する。 異なるアーキテクチャで、エポック間のパフォーマンスの変化を評価し、タスクの厳密で厳密なトラックに対する事前トレーニングメトリクスを報告します。
  論文  参考訳（メタデータ） (2023-11-08T13:13:23Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
  大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。 記憶から生じるプライバシーリスクが注目されている。 実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
  論文  参考訳（メタデータ） (2023-08-30T03:06:47Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。