論文の概要: MemHunter: Automated and Verifiable Memorization Detection at Dataset-scale in LLMs

• arxiv url: http://arxiv.org/abs/2412.07261v1
• Date: Tue, 10 Dec 2024 07:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:46.690961
• Title: MemHunter: Automated and Verifiable Memorization Detection at Dataset-scale in LLMs
• Title（参考訳）: MemHunter: LLMにおけるデータセットスケールにおける自動および検証可能な記憶検出
• Authors: Zhenpeng Wu, Jian Lou, Zibin Zheng, Chuan Chen,
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータからコンテンツを記憶し、再現することが示されている。 既存の記憶検出方法は、手作業または個別に最適化されたメモリ誘導プロンプトに依存して、主にサンプル固有である。 textitMemHunterを導入し、メモリ誘導LDMをトレーニングし、仮説テストを用いてデータセットレベルで記憶を効率的に検出する。
• 参考スコア（独自算出の注目度）: 28.593941036010417
• License:
• Abstract: Large language models (LLMs) have been shown to memorize and reproduce content from their training data, raising significant privacy concerns, especially with web-scale datasets. Existing methods for detecting memorization are largely sample-specific, relying on manually crafted or discretely optimized memory-inducing prompts generated on a per-sample basis, which become impractical for dataset-level detection due to the prohibitive computational cost of iterating over all samples. In real-world scenarios, data owners may need to verify whether a susceptible LLM has memorized their dataset, particularly if the LLM may have collected the data from the web without authorization. To address this, we introduce \textit{MemHunter}, which trains a memory-inducing LLM and employs hypothesis testing to efficiently detect memorization at the dataset level, without requiring sample-specific memory inducing. Experiments on models such as Pythia and Llama-2 demonstrate that \textit{MemHunter} can extract up to 40\% more training data than existing methods under constrained time resources and reduce search time by up to 80\% when integrated as a plug-in. Crucially, \textit{MemHunter} is the first method capable of dataset-level memorization detection, providing an indispensable tool for assessing privacy risks in LLMs that are powered by vast web-sourced datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータからコンテンツを記憶し、再現することが示されている。 既存の記憶検出方法は、主にサンプル固有のものであり、手動で作成または個別に最適化されたメモリ誘導プロンプトに依存しており、全てのサンプルを反復することの禁止的な計算コストのため、データセットレベルの検出には実用的ではない。 現実のシナリオでは、データ所有者は、受容可能なLLMがデータセットを記憶したかどうか、特にLLMが許可なくWebからデータを収集したかどうかを確認する必要がある。 これを解決するために,メモリ駆動型LDMをトレーニングし,仮説テストを用いてデータセットレベルで記憶を効率よく検出する。 Pythia や Llama-2 のようなモデルでの実験では, 制約時間リソース下での既存の方法よりも最大40 %のトレーニングデータを抽出し, プラグインとして統合した場合の検索時間を最大80 %削減できることが示された。 重要なことに、 \textit{MemHunter} はデータセットレベルの記憶検出が可能な最初の方法であり、巨大なWebソースのデータセットをベースとした LLM のプライバシリスクを評価するために必要なツールを提供する。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。 LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。 プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• Large Language Models Memorize Sensor Datasets! Implications on Human Activity Recognition Research [0.23982628363233693]
  本研究では,Large Language Models (LLMs) が,訓練中にHAR(Human Activity Recognition)データセットにアクセス可能かどうかを検討する。 ほとんどの現代のLLMは、事実上(アクセス可能な)インターネット上でトレーニングされています。 特にダフネットデータセットでは、GPT-4はセンサー読み取りのブロックを再現することができる。
  論文  参考訳（メタデータ） (2024-06-09T19:38:27Z)
• Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 この研究は、トレーニング中に言語モデルがデータセットを見たかどうかを評価するためのさまざまなテクニックを導入している。 次に、トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-04-09T10:58:21Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Elephants Never Forget: Testing Language Models for Memorization of Tabular Data [21.912611415307644]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 本稿では, 条件分布モデリングの統計的テストや, 暗記を識別する4つのテストなど, 汚染度を評価するための様々な手法を紹介する。
  論文  参考訳（メタデータ） (2024-03-11T12:07:13Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。