論文の概要: Many-Shot Regurgitation (MSR) Prompting
- arxiv url: http://arxiv.org/abs/2405.08134v1
- Date: Mon, 13 May 2024 19:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 15:47:11.128001
- Title: Many-Shot Regurgitation (MSR) Prompting
- Title(参考訳): Many-Shot Regurgitation (MSR) Prompting
- Authors: Shashank Sonkar, Richard G. Baraniuk,
- Abstract要約: 大規模言語モデル (LLM) において, 暗黙的コンテンツ再現を検証するための新たなブラックボックスメンバシップ推論攻撃フレームワークであるMulti-Shot Regurgitation (MSR) を導入した。
MSRプロンプトは、入力テキストを複数のセグメントに分割し、ユーザと言語モデルの間の一連の偽の会話ラウンドを含む単一のプロンプトを作成して、動詞の反復を誘発する。
MSRをウィキペディアの記事やオープン教育リソース(OER)教科書など多様なテキストソースに適用し,高品質な事実コンテンツを提供する。
- 参考スコア(独自算出の注目度): 26.9991760335222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Many-Shot Regurgitation (MSR) prompting, a new black-box membership inference attack framework for examining verbatim content reproduction in large language models (LLMs). MSR prompting involves dividing the input text into multiple segments and creating a single prompt that includes a series of faux conversation rounds between a user and a language model to elicit verbatim regurgitation. We apply MSR prompting to diverse text sources, including Wikipedia articles and open educational resources (OER) textbooks, which provide high-quality, factual content and are continuously updated over time. For each source, we curate two dataset types: one that LLMs were likely exposed to during training ($D_{\rm pre}$) and another consisting of documents published after the models' training cutoff dates ($D_{\rm post}$). To quantify the occurrence of verbatim matches, we employ the Longest Common Substring algorithm and count the frequency of matches at different length thresholds. We then use statistical measures such as Cliff's delta, Kolmogorov-Smirnov (KS) distance, and Kruskal-Wallis H test to determine whether the distribution of verbatim matches differs significantly between $D_{\rm pre}$ and $D_{\rm post}$. Our findings reveal a striking difference in the distribution of verbatim matches between $D_{\rm pre}$ and $D_{\rm post}$, with the frequency of verbatim reproduction being significantly higher when LLMs (e.g. GPT models and LLaMAs) are prompted with text from datasets they were likely trained on. For instance, when using GPT-3.5 on Wikipedia articles, we observe a substantial effect size (Cliff's delta $= -0.984$) and a large KS distance ($0.875$) between the distributions of $D_{\rm pre}$ and $D_{\rm post}$. Our results provide compelling evidence that LLMs are more prone to reproducing verbatim content when the input text is likely sourced from their training data.
- Abstract(参考訳): 大規模言語モデル (LLM) において, 冗長なコンテンツ再現を検証するための新たなブラックボックスメンバシップ推論攻撃フレームワークであるMulti-Shot Regurgitation (MSR) を導入した。
MSRプロンプトは、入力テキストを複数のセグメントに分割し、ユーザと言語モデルの間の一連の偽の会話ラウンドを含む単一のプロンプトを作成して、動詞の反復を誘発する。
MSRをウィキペディアの記事やオープン教育リソース(OER)教科書など多様なテキストソースに適用し、高品質で事実的なコンテンツを提供し、時間とともに継続的に更新する。
各ソースについて、LLMがトレーニング中に露出した可能性が高い(D_{\rm pre}$)と、モデルのトレーニングのカットオフ日(D_{\rm post}$)後に公開されたドキュメント(D_{\rm post}$)の2つのデータセットタイプをキュレートします。
動詞の一致の発生を定量化するために、最も長い共通サブストリングアルゴリズムを用い、マッチの周波数を異なる長さ閾値でカウントする。
次に、Cliff's delta, Kolmogorov-Smirnov (KS) 距離、Kruskal-Wallis H テストなどの統計測度を用いて、動詞の一致の分布が$D_{\rm pre}$と$D_{\rm post}$とで大きく異なるかどうかを判定する。
LLM(eg GPTモデルとLLaMA)が訓練された可能性のあるデータセットからテキストを誘導された場合, 動詞の再現頻度は有意に高く, 動詞の一致の分布は$D_{\rm pre}$と$D_{\rm post}$とで著しく異なることが判明した。
例えば、Wikipediaの記事でGPT-3.5を使用する場合、相当な効果サイズ(Cliff's delta $= -0.984$)と、$D_{\rm pre}$と$D_{\rm post}$の分布の間の大きなKS距離(0.875$)を観察します。
この結果から,LLMは学習データから入力テキストが出力される可能性が高い場合に,動詞の内容を再現する傾向が示唆された。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - DE-COP: Detecting Copyrighted Content in Language Models Training Data [25.919278893876193]
著作権のあるコンテンツの一部がトレーニングに含まれているかどうかを判定する手法であるDE-COPを提案する。
BookTectionは165冊の書籍から抜粋を抽出したベンチマークで、モデルによるトレーニングの切り離しの後に作成します。
実験の結果,DEC-COPはロジットが利用可能なモデルにおいて,検出性能(AUC)が9.6%向上することがわかった。
論文 参考訳(メタデータ) (2024-02-15T12:17:15Z) - LAMPAT: Low-Rank Adaption for Multilingual Paraphrasing Using
Adversarial Training [20.946209173797747]
パラフレーズ(英: Paraphrase)とは、異なる単語や文構造を用いて同じ意味を伝えるテキストである。
これまでの研究は機械翻訳の知識を活用し、ゼロショット機械翻訳によるパラフレーズを同じ言語で生成してきた。
単言語データセットが人間に似た多文を生成するのに十分である最初の教師なし多言語パラフレーズモデル LAMPAT を提案する。
論文 参考訳(メタデータ) (2024-01-09T04:19:16Z) - Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen
Large Language Models [69.59125732317972]
本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。
R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。
質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
論文 参考訳(メタデータ) (2023-06-15T20:56:20Z) - Modeling Sequential Sentence Relation to Improve Cross-lingual Dense
Retrieval [87.11836738011007]
マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。
MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。
モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
論文 参考訳(メタデータ) (2023-02-03T09:54:27Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳(メタデータ) (2022-10-28T02:57:40Z) - RARR: Researching and Revising What Language Models Say, Using Language
Models [31.057495176599502]
RARR(Retrofit Attribution using Research and Revision)は,テキスト生成モデルの出力に対する属性を自動的に検出するシステムである。
RARRは、以前検討した編集モデルよりも、元の入力をはるかに高い程度に保存しながら、属性を著しく改善することがわかった。
論文 参考訳(メタデータ) (2022-10-17T03:44:30Z) - Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討
我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
論文 参考訳(メタデータ) (2022-10-05T22:52:00Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳(メタデータ) (2022-09-07T20:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。