論文の概要: Sequence-Level Analysis of Leakage Risk of Training Data in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.11302v1
• Date: Sun, 15 Dec 2024 20:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:12.161188
• Title: Sequence-Level Analysis of Leakage Risk of Training Data in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける学習データの漏洩リスクのシーケンスレベル解析
• Authors: Trishita Tiwari, G. Edward Suh,
• Abstract要約: 我々はデコード方式,モデルサイズ,プレフィックス長,部分シーケンスリーク,トークン位置の影響を再解析する。 本研究は,LLaMaとOPTの2つの事前学習モデルについて,それぞれコモンクローリングとパイルでトレーニングを行った。
• 参考スコア（独自算出の注目度）: 7.600279942640982
• License:
• Abstract: This work advocates for the use of sequence level probabilities for quantifying the risk of extraction training data from Large Language Models (LLMs) as they provide much finer-grained information than has been previously obtained. We re-analyze the effects of decoding schemes, model-size, prefix length, partial sequence leakages, and token positions to uncover new insights that have were not possible in prior work due to their choice of metrics. We perform this study on two pre-trained models, LLaMa and OPT, trained on the Common Crawl and Pile respectively. We discover that 1) Extraction rate, the predominant metric used in prior quantification work, underestimates the threat of leakage of training data in randomized LLMs by as much as 2.14x. 2) Though, on average, larger models and longer prefixes can extract more data, this is not true with a substantial portion of individual sequences. 30.4-41.5% of our sequences are easier to extract with either shorter prefixes or smaller models. 3) Contrary to prior belief, partial leakage in the commonly used decoding schemes like top-k and top-p are not easier than leaking verbatim training data. 4) Extracting later tokens in a sequence is as much as 912% easier than extracting earlier tokens. The insights gained from our analysis show that it is important to look at leakage of training data on a per-sequence basis.
• Abstract（参考訳）: 本研究は,Large Language Models (LLMs) からの学習データ抽出のリスクを定量化するためのシーケンスレベル確率の利用を提唱する。 我々は、デコードスキーム、モデルサイズ、プレフィックス長、部分シーケンスリーク、トークン位置の影響を再解析し、メトリクスの選択による事前の作業では不可能な新たな洞察を明らかにする。 本研究は,LLaMaとOPTの2つの事前学習モデルについて,それぞれコモン・クローリングとパイルで訓練を行った。 私たちはそれを発見します 1)事前定量化作業で使用される主要な指標である抽出レートは、ランダム化LDMにおけるトレーニングデータの漏洩の脅威を最大2.14倍まで過小評価する。 2) 平均的, モデルが大きく, プレフィックスが長い場合には, より多くのデータを抽出できるが, 個々のシーケンスのかなりの部分では, 事実ではない。 30.4-41.5%のシーケンスは、短いプレフィックスまたはより小さなモデルで簡単に抽出できる。 3)事前の信念とは対照的に,トップkやトップpのような一般的な復号法では部分的な漏洩は,動詞の学習データを漏洩させるよりも容易ではない。 4) 後続トークンの抽出は,先行トークンの抽出よりも912%ほど容易である。 本分析から得られた知見は,シーケンス毎のトレーニングデータの漏洩を調べることが重要であることを示している。

関連論文リスト

• How Much Do Code Language Models Remember? An Investigation on Data Extraction Attacks before and after Fine-tuning [2.3759432635713895]
  我々は、事前訓練されたコード言語モデルと微調整されたコード言語モデルの両方を攻撃し、データの抽出可能性について調査する。 微調整は少ないリソースを必要とし、その特殊データに対する有効性のために、小規模でも大規模でもますます利用されている。 データキャリアとライセンス情報は、事前訓練されたモデルと微調整されたモデルから記憶される可能性が最も高い一方、後者は微調整後に忘れられる可能性が最も高い。
  論文  参考訳（メタデータ） (2025-01-29T09:17:30Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 よりシンプルで知識集約的なタスクでは記憶が大きな役割を担い、一方、一般化はより困難で推論に基づくタスクでは鍵となる。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
  本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。 メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。 我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-07-10T08:03:41Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
  メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。 我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。 モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
  論文  参考訳（メタデータ） (2023-04-21T17:58:31Z)
• Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
  公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。 実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-09T06:46:42Z)
• Numeracy from Literacy: Data Science as an Emergent Skill from Large Language Models [0.0]
  OpenAIのChatGPTやGPT-3のような大規模言語モデル(LLM)は、リテラシーを数字化するための翻訳課題を探求するためのユニークなテストベッドを提供する。 以前の18ヶ月前から公開されていたトランスフォーマーモデルと1000倍の小さなモデルでは基本的な算術演算が得られなかった。 本研究は, 文の完成から実際の数値理解の領域へ, 次世代の予測が成功するかどうかを考察する。
  論文  参考訳（メタデータ） (2023-01-31T03:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。