論文の概要: Extracting Memorized Training Data via Decomposition

• arxiv url: http://arxiv.org/abs/2409.12367v2
• Date: Tue, 1 Oct 2024 21:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:14:47.125716
• Title: Extracting Memorized Training Data via Decomposition
• Title（参考訳）: 分解による記憶訓練データの抽出
• Authors: Ellen Su, Anu Vellore, Amy Chang, Raffaele Mura, Blaine Nelson, Paul Kassianik, Amin Karbasi,
• Abstract要約: 本稿では,2つのフロンティア大言語モデルからニュース記事を抽出する,簡単なクエリベースの分解手法を示す。 73項目から少なくとも1文を抽出し,6項目から20%以上の動詞文を抽出した。 大規模に複製可能であれば、このトレーニングデータ抽出手法は、新たなLLMセキュリティと安全性の脆弱性を公開する可能性がある。
• 参考スコア（独自算出の注目度）: 24.198975804570072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of Large Language Models (LLMs) in society creates new information security challenges for developers, organizations, and end-users alike. LLMs are trained on large volumes of data, and their susceptibility to reveal the exact contents of the source training datasets poses security and safety risks. Although current alignment procedures restrict common risky behaviors, they do not completely prevent LLMs from leaking data. Prior work demonstrated that LLMs may be tricked into divulging training data by using out-of-distribution queries or adversarial techniques. In this paper, we demonstrate a simple, query-based decompositional method to extract news articles from two frontier LLMs. We use instruction decomposition techniques to incrementally extract fragments of training data. Out of 3723 New York Times articles, we extract at least one verbatim sentence from 73 articles, and over 20% of verbatim sentences from 6 articles. Our analysis demonstrates that this method successfully induces the LLM to generate texts that are reliable reproductions of news articles, meaning that they likely originate from the source training dataset. This method is simple, generalizable, and does not fine-tune or change the production model. If replicable at scale, this training data extraction methodology could expose new LLM security and safety vulnerabilities, including privacy risks and unauthorized data leaks. These implications require careful consideration from model development to its end-use.
• Abstract（参考訳）: 社会におけるLarge Language Models(LLM)の普及は、開発者、組織、エンドユーザにも新たな情報セキュリティ上の課題をもたらします。 LLMは大量のデータに基づいてトレーニングされており、ソーストレーニングデータセットの正確な内容を明らかにするための感受性は、セキュリティと安全性のリスクを引き起こす。 現在のアライメント手順は一般的な危険行動を制限するが、LSMがデータ漏洩を完全に防止するわけではない。 以前の研究で、LSMはアウト・オブ・ディストリビューション・クエリや逆行的手法を用いて、トレーニングデータを拡散させる可能性があることが実証された。 本稿では,2つのフロンティア LLM からニュース記事を取り出すための,簡単なクエリベースの分解手法を示す。 命令分解技術を用いて、トレーニングデータの断片を漸進的に抽出する。 ニューヨーク・タイムズの3723記事のうち、73記事から少なくとも1つの動詞の文を抽出し、6記事から20%以上の動詞の文を抽出する。 本手法は,ニュース記事の信頼性の高い再生テキストを生成するのに有効であることを示す。 この方法は単純で一般化可能であり、微調整や生産モデルの変更は行わない。 大規模に複製可能であれば、このトレーニングデータ抽出手法は、プライバシのリスクや不正なデータ漏洩を含む、新たなLLMのセキュリティと安全性の脆弱性を公開する可能性がある。 これらの意味は、モデル開発からエンドユースまで慎重に考慮する必要がある。

関連論文リスト

• Evaluating Large Language Model based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)は、攻撃者が個人プロファイルから様々な個人情報を正確に抽出するために誤用することができる。 LLMはそのような抽出において従来の方法より優れている。 即時注射は、そのようなリスクを広範囲に軽減し、従来の対策より優れている。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
  対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。 情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T21:51:01Z)
• Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models? [2.089112028396727]
  本研究では,大規模言語モデルが知識や理解を犠牲にすることなく,安全でバイアスのないアウトプットを生成できるかどうかを考察する。 セーフかつレスポンシブルな大規模言語モデル (textbfSR$_textLLM$) を導入する。 textbfSR$_textLLM$は知識の整合性を維持しながらバイアスを効果的に低減する。
  論文  参考訳（メタデータ） (2024-04-01T18:10:05Z)
• Source-Aware Training Enables Knowledge Attribution in Language Models [81.13048060332775]
  固有のソースの引用は透明性、解釈可能性、検証可能性を高めることができる。 我々のトレーニングレシピは、モデルの難易度に大きな影響を与えることなく、事前学習データへの忠実な帰属を可能にする。
  論文  参考訳（メタデータ） (2024-04-01T09:39:38Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs [31.80386572346993]
  LLMが有害な要求を拒絶しても、有害な応答が出力ロジットの奥深くに隠されることがよくあります。 このアプローチは、脱獄方法と異なり、有効性は62%に対して92%、高速性は10～20倍である。 本研究は, コーディングタスクに特化して設計されたモデルから, 有毒な知識を抽出できることを示唆する。
  論文  参考訳（メタデータ） (2023-12-08T01:41:36Z)
• Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop [0.8602553195689513]
  本稿では,Large Language Models (LLM) の自己消費学習ループについて検討する。 本稿では,LLM生成コンテンツの正確性を明確に検証できる論理式に基づく新しい手法を提案する。 自己消費学習ループは正しい出力を生成するが、使用データの割合によって出力の多様性は低下する。
  論文  参考訳（メタデータ） (2023-11-28T14:36:43Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。