論文の概要: Measuring memorization in language models via probabilistic extraction

• arxiv url: http://arxiv.org/abs/2410.19482v2
• Date: Wed, 12 Mar 2025 14:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:35:27.971280
• Title: Measuring memorization in language models via probabilistic extraction
• Title（参考訳）: 確率論的抽出による言語モデルの記憶度測定
• Authors: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov, Milad Nasr, Christopher A. Choquette-Choo, Katherine Lee, A. Feder Cooper,
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータを記憶する可能性がある。 発見可能な抽出は、この問題を測定する最も一般的な方法である。 確率的探索可能な抽出を導入し、追加コストなしで複数のクエリを考慮し、発見可能な抽出を緩和する。
• 参考スコア（独自算出の注目度）: 29.438509661725117
• License:
• Abstract: Large language models (LLMs) are susceptible to memorizing training data, raising concerns about the potential extraction of sensitive information at generation time. Discoverable extraction is the most common method for measuring this issue: split a training example into a prefix and suffix, then prompt the LLM with the prefix, and deem the example extractable if the LLM generates the matching suffix using greedy sampling. This definition yields a yes-or-no determination of whether extraction was successful with respect to a single query. Though efficient to compute, we show that this definition is unreliable because it does not account for non-determinism present in more realistic (non-greedy) sampling schemes, for which LLMs produce a range of outputs for the same prompt. We introduce probabilistic discoverable extraction, which, without additional cost, relaxes discoverable extraction by considering multiple queries to quantify the probability of extracting a target sequence. We evaluate our probabilistic measure across different models, sampling schemes, and training-data repetitions, and find that this measure provides more nuanced information about extraction risk compared to traditional discoverable extraction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータを記憶し、生成時にセンシティブな情報の潜在的抽出に関する懸念を提起する。 トレーニング例をプレフィックスとサフィックスに分割し、プレフィックスでLSMをプロンプトし、もしLLMがgreedyサンプリングを使用して一致したサフィックスを生成する場合、そのサンプルを抽出可能であるとみなす。 この定義は、単一のクエリに対して抽出が成功したかどうかをイエスまたはノーに判定する。 計算には効率的であるが、この定義はより現実的な(非グレード的な)サンプリングスキームに存在する非決定性を考慮せず、LLMが同じプロンプトに対して様々な出力を生成するため、信頼性が低いことを示す。 本稿では,複数のクエリを考慮し,対象シーケンスを抽出する確率を定量化することにより,追加コストなしで発見可能な抽出を緩和する確率的発見可能な抽出法を提案する。 我々は,異なるモデル,サンプリングスキーム,トレーニングデータを繰り返した確率的尺度を評価し,従来の発見可能な抽出法と比較して,抽出リスクに関するより微妙な情報を提供することを示した。

関連論文リスト

• Skewed Memorization in Large Language Models: Quantification and Decomposition [23.097554469918357]
  LLM(Large Language Models)のメモリ化は、プライバシとセキュリティのリスクを引き起こす。 本稿では,教師付き微調整(SFT)の記憶について検討し,トレーニング期間,データセットサイズ,サンプル間類似度との関係について検討する。
  論文  参考訳（メタデータ） (2025-02-03T09:23:53Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
  人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。 このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。 分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T16:59:28Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• TriSig: Assessing the statistical significance of triclusters [2.064612766965483]
  本研究は、テンソルデータのパターンの確率を評価するための統計的枠組みを提案し、ヌル期待から逸脱する。 偽陽性発見のための二項検定に関する総合的な議論が欠かせない。 バイオケミカルおよびバイオテクノロジー分野における、異なる実世界のケーススタディに対する最先端のトリクラスタリングアルゴリズムの適用から得られた結果。
  論文  参考訳（メタデータ） (2023-06-01T13:08:54Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。