論文の概要: A Little Leak Will Sink a Great Ship: Survey of Transparency for Large Language Models from Start to Finish
- arxiv url: http://arxiv.org/abs/2403.16139v1
- Date: Sun, 24 Mar 2024 13:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 17:25:57.731654
- Title: A Little Leak Will Sink a Great Ship: Survey of Transparency for Large Language Models from Start to Finish
- Title（参考訳）: 小さなリークで大船が沈む: スタートから終了までの大規模言語モデルの透明性調査
- Authors: Masahiro Kaneko, Timothy Baldwin,
- Abstract要約: 大規模言語モデル(LLM)は、大規模なウェブクローリングコーパスで訓練されている。
LLMは、トレーニングセットでそのようなデータが少ないにもかかわらず、ほとんどの場合、漏洩した情報を生成する。
自己検出法は既存の検出法と比較して優れた性能を示した。
- 参考スコア（独自算出の注目度）: 47.3916421056009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are trained on massive web-crawled corpora. This poses risks of leakage, including personal information, copyrighted texts, and benchmark datasets. Such leakage leads to undermining human trust in AI due to potential unauthorized generation of content or overestimation of performance. We establish the following three criteria concerning the leakage issues: (1) leakage rate: the proportion of leaked data in training data, (2) output rate: the ease of generating leaked data, and (3) detection rate: the detection performance of leaked versus non-leaked data. Despite the leakage rate being the origin of data leakage issues, it is not understood how it affects the output rate and detection rate. In this paper, we conduct an experimental survey to elucidate the relationship between the leakage rate and both the output rate and detection rate for personal information, copyrighted texts, and benchmark data. Additionally, we propose a self-detection approach that uses few-shot learning in which LLMs detect whether instances are present or absent in their training data, in contrast to previous methods that do not employ explicit learning. To explore the ease of generating leaked information, we create a dataset of prompts designed to elicit personal information, copyrighted text, and benchmarks from LLMs. Our experiments reveal that LLMs produce leaked information in most cases despite less such data in their training set. This indicates even small amounts of leaked data can greatly affect outputs. Our self-detection method showed superior performance compared to existing detection methods.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模なウェブクローリングコーパスで訓練されている。
これは個人情報、著作権付きテキスト、ベンチマークデータセットなどの漏洩のリスクを引き起こす。
このようなリークは、不正なコンテンツの生成やパフォーマンスの過大評価によって、AIに対する人間の信頼を損なう。
1)リーク率:トレーニングデータにおける漏洩データの比率、(2)出力率:漏洩データ生成の容易性、(3)検出率:漏洩データと非リークデータの検出性能。
漏洩率がデータ漏洩問題の起源であるにもかかわらず、それが出力率と検出率にどのように影響するかは分かっていない。
本稿では, 個人情報, 著作権テキスト, ベンチマークデータの漏洩率と出力率, 検出率の関係を明らかにするための実験的調査を行う。
さらに,LLMが学習データにインスタンスが存在するか存在しないかを,明示的な学習を使わずに検出する自己検出手法を提案する。
漏洩情報生成の容易性を探るため、LLMから個人情報、著作権付きテキスト、ベンチマークを抽出するプロンプトのデータセットを作成する。
実験の結果,LLMはトレーニングセットのそのようなデータが少ないにもかかわらず,ほとんどの場合,漏洩した情報を生成することがわかった。
これは、少量の漏洩データがアウトプットに大きな影響を与えることを示している。
我々の自己検出法は既存の検出法と比較して優れた性能を示した。
関連論文リスト
- Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳（メタデータ） (2024-07-09T08:14:29Z) - Probing Language Models for Pre-training Data Detection [11.37731401086372]
本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。
我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
論文 参考訳（メタデータ） (2024-06-03T13:58:04Z) - Sampling-based Pseudo-Likelihood for Membership Inference Attacks [36.62066767969338]
メンバーシップ推論攻撃(MIA)は、与えられたテキストがモデルのトレーニングデータに含まれるかどうかを決定する。
LLMによって生成されたテキストのみを用いてSPLを計算し,漏洩を検出するMIAのためのサンプリングベースPseudo-Likelihood(textbfSPL)手法を提案する。
論文 参考訳（メタデータ） (2024-04-17T11:12:59Z) - Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-05T19:32:01Z) - Detecting Pretraining Data from Large Language Models [90.12037980837738]
事前学習データ検出問題について検討する。
事前学習データを知ることなく、テキスト片とLCMへのブラックボックスアクセスを条件に、モデルが提供されたテキストでトレーニングされたかどうかを判断できますか?
簡単な仮説に基づく新しい検出手法Min-K% Probを提案する。
論文 参考訳（メタデータ） (2023-10-25T17:21:23Z) - From Zero to Hero: Detecting Leaked Data through Synthetic Data Injection and Model Querying [10.919336198760808]
分類モデルの学習に使用される漏洩データを検出する新しい手法を提案する。
textscLDSSは、クラス分散の局所的なシフトによって特徴付けられる、少量の合成データを所有者のデータセットに注入する。
これにより、モデルクエリ単独で、リークデータに基づいてトレーニングされたモデルの効果的な識別が可能になる。
論文 参考訳（メタデータ） (2023-10-06T10:36:28Z) - Stop Uploading Test Data in Plain Text: Practical Strategies for
Mitigating Data Contamination by Evaluation Benchmarks [70.39633252935445]
データ汚染は、大規模な自動クロールコーパスで事前訓練されたモデルの台頭によって、普及し、課題となっている。
クローズドモデルの場合、トレーニングデータはトレードシークレットになり、オープンモデルであっても汚染を検出するのは簡単ではない。
1)公開するテストデータを公開鍵で暗号化し,デリバティブ配信を許可する,(2)クローズドAPI保持者からの要求トレーニング排他的コントロールを許可する,(2)評価を拒否してテストデータを保護する,(3)インターネット上のソリューションで表示されるデータを避け,インターネット由来のWebページコンテキストを解放する,という3つの方法を提案する。
論文 参考訳（メタデータ） (2023-05-17T12:23:38Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳（メタデータ） (2022-08-04T05:32:20Z) - Data Contamination: From Memorization to Exploitation [5.997909991352044]
下流タスクにおいて、モデルがどのように汚染されたデータを悪用しているかは明らかではない。
我々は、ウィキペディアの共同コーパスでBERTモデルを事前訓練し、下流データセットをラベル付けし、関連するタスクでそれらを微調整する。
2つのモデルと3つのダウンストリームタスクによる実験では、いくつかのケースでは悪用が存在するが、他のケースでは、汚染されたデータを記憶しているが、悪用しない。
論文 参考訳（メタデータ） (2022-03-15T20:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。