論文の概要: Measuring memorization through probabilistic discoverable extraction

• arxiv url: http://arxiv.org/abs/2410.19482v1
• Date: Fri, 25 Oct 2024 11:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:07.741272
• Title: Measuring memorization through probabilistic discoverable extraction
• Title（参考訳）: 確率論的発見可能な抽出による記憶の計測
• Authors: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov,
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングデータを記憶する可能性がある。 LLMの記憶率を測定するための現在の手法は、単一系列のグレディサンプリングに依存している。
• 参考スコア（独自算出の注目度）: 19.4511858341881
• License:
• Abstract: Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータを記憶し、センシティブな情報の潜在的抽出による懸念を提起する。 LLMの記憶率を測定する現在の方法、主に発見可能な抽出法(Carlini et al , 2022)は単一系列のグレディサンプリングに依存しており、暗記の真の範囲を過小評価する可能性がある。 本稿では, 種々のサンプリング手法と複数試行を考慮した探索可能抽出の確率的緩和を行い, 生成したサンプルの集合内で対象配列を抽出する確率を定量化する手法を提案する。 提案手法は,LLMの確率的性質とユーザインタラクションパターンを考慮し,発見可能な抽出による記憶率の報告の限界に対処する。 実験により, この確率的測定により, 発見可能な抽出から得られた速度と比較して, 記憶率の高い症例が明らかとなった。 さらに,異なるサンプリング方式が抽出性に及ぼす影響について検討し,LLM記憶とその関連リスクをより包括的かつ現実的に評価する。 我々の貢献には、新しい確率的記憶の定義、その有効性の実証的な証拠、様々なモデル、サイズ、サンプリングスキーム、トレーニングデータ繰り返しを含む。

関連論文リスト

• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
  人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。 このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。 分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T16:59:28Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• TriSig: Assessing the statistical significance of triclusters [2.064612766965483]
  本研究は、テンソルデータのパターンの確率を評価するための統計的枠組みを提案し、ヌル期待から逸脱する。 偽陽性発見のための二項検定に関する総合的な議論が欠かせない。 バイオケミカルおよびバイオテクノロジー分野における、異なる実世界のケーススタディに対する最先端のトリクラスタリングアルゴリズムの適用から得られた結果。
  論文  参考訳（メタデータ） (2023-06-01T13:08:54Z)
• Learning from a Biased Sample [3.546358664345473]
  本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。 本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
  論文  参考訳（メタデータ） (2022-09-05T04:19:16Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。