論文の概要: Many-Shot Regurgitation (MSR) Prompting
- arxiv url: http://arxiv.org/abs/2405.08134v1
- Date: Mon, 13 May 2024 19:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 15:47:11.128001
- Title: Many-Shot Regurgitation (MSR) Prompting
- Title（参考訳）: Many-Shot Regurgitation (MSR) Prompting
- Authors: Shashank Sonkar, Richard G. Baraniuk,
- Abstract要約: 大規模言語モデル (LLM) において, 暗黙的コンテンツ再現を検証するための新たなブラックボックスメンバシップ推論攻撃フレームワークであるMulti-Shot Regurgitation (MSR) を導入した。
MSRプロンプトは、入力テキストを複数のセグメントに分割し、ユーザと言語モデルの間の一連の偽の会話ラウンドを含む単一のプロンプトを作成して、動詞の反復を誘発する。
MSRをウィキペディアの記事やオープン教育リソース(OER)教科書など多様なテキストソースに適用し,高品質な事実コンテンツを提供する。
- 参考スコア（独自算出の注目度）: 26.9991760335222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Many-Shot Regurgitation (MSR) prompting, a new black-box membership inference attack framework for examining verbatim content reproduction in large language models (LLMs). MSR prompting involves dividing the input text into multiple segments and creating a single prompt that includes a series of faux conversation rounds between a user and a language model to elicit verbatim regurgitation. We apply MSR prompting to diverse text sources, including Wikipedia articles and open educational resources (OER) textbooks, which provide high-quality, factual content and are continuously updated over time. For each source, we curate two dataset types: one that LLMs were likely exposed to during training ($D_{\rm pre}$) and another consisting of documents published after the models' training cutoff dates ($D_{\rm post}$). To quantify the occurrence of verbatim matches, we employ the Longest Common Substring algorithm and count the frequency of matches at different length thresholds. We then use statistical measures such as Cliff's delta, Kolmogorov-Smirnov (KS) distance, and Kruskal-Wallis H test to determine whether the distribution of verbatim matches differs significantly between $D_{\rm pre}$ and $D_{\rm post}$. Our findings reveal a striking difference in the distribution of verbatim matches between $D_{\rm pre}$ and $D_{\rm post}$, with the frequency of verbatim reproduction being significantly higher when LLMs (e.g. GPT models and LLaMAs) are prompted with text from datasets they were likely trained on. For instance, when using GPT-3.5 on Wikipedia articles, we observe a substantial effect size (Cliff's delta $= -0.984$) and a large KS distance ($0.875$) between the distributions of $D_{\rm pre}$ and $D_{\rm post}$. Our results provide compelling evidence that LLMs are more prone to reproducing verbatim content when the input text is likely sourced from their training data.
- Abstract（参考訳）: 大規模言語モデル (LLM) において, 冗長なコンテンツ再現を検証するための新たなブラックボックスメンバシップ推論攻撃フレームワークであるMulti-Shot Regurgitation (MSR) を導入した。
MSRプロンプトは、入力テキストを複数のセグメントに分割し、ユーザと言語モデルの間の一連の偽の会話ラウンドを含む単一のプロンプトを作成して、動詞の反復を誘発する。
MSRをウィキペディアの記事やオープン教育リソース(OER)教科書など多様なテキストソースに適用し、高品質で事実的なコンテンツを提供し、時間とともに継続的に更新する。
各ソースについて、LLMがトレーニング中に露出した可能性が高い(D_{\rm pre}$)と、モデルのトレーニングのカットオフ日(D_{\rm post}$)後に公開されたドキュメント(D_{\rm post}$)の2つのデータセットタイプをキュレートします。
動詞の一致の発生を定量化するために、最も長い共通サブストリングアルゴリズムを用い、マッチの周波数を異なる長さ閾値でカウントする。
次に、Cliff's delta, Kolmogorov-Smirnov (KS) 距離、Kruskal-Wallis H テストなどの統計測度を用いて、動詞の一致の分布が$D_{\rm pre}$と$D_{\rm post}$とで大きく異なるかどうかを判定する。
LLM(eg GPTモデルとLLaMA)が訓練された可能性のあるデータセットからテキストを誘導された場合, 動詞の再現頻度は有意に高く, 動詞の一致の分布は$D_{\rm pre}$と$D_{\rm post}$とで著しく異なることが判明した。
例えば、Wikipediaの記事でGPT-3.5を使用する場合、相当な効果サイズ(Cliff's delta $= -0.984$)と、$D_{\rm pre}$と$D_{\rm post}$の分布の間の大きなKS距離(0.875$)を観察します。
この結果から,LLMは学習データから入力テキストが出力される可能性が高い場合に,動詞の内容を再現する傾向が示唆された。
関連論文リスト
- Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。
本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。
我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-11-08T05:54:05Z) - A Mixed-Language Multi-Document News Summarization Dataset and a Graphs-Based Extract-Generate Model [15.596156608713347]
現実のシナリオでは、国際イベントに関するニュースは、しばしば異なる言語で複数のドキュメントを含む。
混合言語多文書ニュース要約データセット(MLMD-news)を構築する。
このデータセットには、4つの異なる言語、10,992のソースドキュメントクラスタとターゲット要約ペアが含まれている。
論文 参考訳（メタデータ） (2024-10-13T08:15:33Z) - LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。
提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
論文 参考訳（メタデータ） (2024-10-12T03:13:44Z) - Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。
我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
論文 参考訳（メタデータ） (2024-06-18T21:31:19Z) - Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。
重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
論文 参考訳（メタデータ） (2023-05-22T14:23:46Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳（メタデータ） (2022-10-28T02:57:40Z) - Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討
我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
論文 参考訳（メタデータ） (2022-10-05T22:52:00Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。