論文の概要: Estimating near-verbatim extraction risk in language models with decoding-constrained beam search

• arxiv url: http://arxiv.org/abs/2603.24917v1
• Date: Thu, 26 Mar 2026 01:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.037528
• Title: Estimating near-verbatim extraction risk in language models with decoding-constrained beam search
• Title（参考訳）: 復号化制約ビームサーチを用いた言語モデルにおける準最適化抽出リスクの推定
• Authors: A. Feder Cooper, Mark A. Lemley, Christopher De Sa, Lea Duesterwald, Allison Casasola, Jamie Hayes, Katherine Lee, Daniel E. Ho, Percy Liang,
• Abstract要約: グリーディ復号法は,シーケンス間の抽出リスクの変化を見逃していることを示す。 本稿では,デコード制約されたビームサーチを導入し,近赤外抽出リスクに対する決定論的下限を導出する。
• 参考スコア（独自算出の注目度）: 66.14049361268074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work shows that standard greedy-decoding extraction methods for quantifying memorization in LLMs miss how extraction risk varies across sequences. Probabilistic extraction -- computing the probability of generating a target suffix given a prefix under a decoding scheme -- addresses this, but is tractable only for verbatim memorization, missing near-verbatim instances that pose similar privacy and copyright risks. Quantifying near-verbatim extraction risk is expensive: the set of near-verbatim suffixes is combinatorially large, and reliable Monte Carlo (MC) estimation can require ~100,000 samples per sequence. To mitigate this cost, we introduce decoding-constrained beam search, which yields deterministic lower bounds on near-verbatim extraction risk at a cost comparable to ~20 MC samples per sequence. Across experiments, our approach surfaces information invisible to verbatim methods: many more extractable sequences, substantially larger per-sequence extraction mass, and patterns in how near-verbatim extraction risk manifests across model sizes and types of text.
• Abstract（参考訳）: 近年の研究では、LLMにおける記憶の定量化のための標準グリーディ復号抽出法が、シーケンス間の抽出リスクの変化を見逃していることが示されている。 確率的抽出(probabilistic extract) -- 復号方式でプレフィックスを付与したターゲット接尾辞を生成する確率を計算する -- は、この問題に対処するが、動詞の暗記のためにのみ抽出可能である。 近赤外接尾辞のセットは組合せ的に大きく、信頼性の高いモンテカルロ (MC) 推定には1列あたり約100,000サンプルが必要である。 このコストを軽減するために、デコード制約ビームサーチを導入し、1シーケンスあたり20 MCのサンプルに匹敵するコストで、ほぼバーベモット抽出のリスクを決定論的に下限とする。 実験全体を通して、本手法は、より多くの抽出可能なシーケンス、より大きいシーケンス毎の抽出質量、およびモデルサイズやテキストの種類によって、ほぼバーバティム抽出のリスクがどのように現れるかのパターンなど、冗長な手法に見えない情報をサーフェスする。

関連論文リスト

• Decoding-Free Sampling Strategies for LLM Marginalization [15.214953630908477]
  現代の言語モデルは、モデルサイズ、推論速度、語彙カバレッジの間のトレードオフを実現するために、サブワードトークン化されたテキストで機能する。 我々はデコード不要なサンプリング戦略について検討し、その代わりにモデルやトークン化ツールに依存しない非常に安価なサンプリング戦略に完全に依存する。
  論文  参考訳（メタデータ） (2025-10-23T04:50:14Z)
• Measuring memorization in language models via probabilistic extraction [29.438509661725117]
  大規模言語モデル(LLM)は、トレーニングデータを記憶する可能性がある。 発見可能な抽出は、この問題を測定する最も一般的な方法である。 確率的探索可能な抽出を導入し、追加コストなしで複数のクエリを考慮し、発見可能な抽出を緩和する。
  論文  参考訳（メタデータ） (2024-10-25T11:37:04Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit [55.2480439325792]
  多武装バンディット(R-CPE-MAB)の真価純探査問題について検討する。 本稿では,差分に基づく探索法 (CombGapE) アルゴリズムを提案する。 我々は,CombGapEアルゴリズムが,合成データセットと実世界のデータセットの両方において,既存の手法を大幅に上回っていることを数値的に示す。
  論文  参考訳（メタデータ） (2023-06-15T15:37:31Z)
• A Unifying Theory of Thompson Sampling for Continuous Risk-Averse Bandits [91.3755431537592]
  本稿では,多腕バンディット問題に対するリスク-逆トンプソンサンプリングアルゴリズムの解析を統一する。 大規模偏差理論における収縮原理を用いることで、連続リスク汎関数に対する新しい濃度境界が証明される。 リスク関数の幅広いクラスと「ニセ」関数が連続性条件を満たすことを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:09:01Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)
• Thompson Sampling Algorithms for Mean-Variance Bandits [97.43678751629189]
  我々は平均分散MABのためのトンプソンサンプリング型アルゴリズムを開発した。 我々はまた、ガウシアンとベルヌーイの盗賊に対する包括的後悔の分析も提供する。 我々のアルゴリズムは、全てのリスク許容度に対して既存のLCBベースのアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-02-01T15:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。