論文の概要: Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

• arxiv url: http://arxiv.org/abs/2601.19936v1
• Date: Fri, 16 Jan 2026 07:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.563178
• Title: Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data
• Title（参考訳）: Gap-K%:事前学習データ検出のためのトップ1予測ギャップの測定
• Authors: Minseo Kwak, Jaehyung Kim,
• Abstract要約: Gap-K%はLarge Language Models (LLMs) の最適化力学に基づく新しい事前学習データ検出法である これを受けてGap-K%は、トップ-1予測トークンとターゲットトークンのログ確率ギャップを利用して、局所相関とトークンレベルの変動を捉えるスライディングウィンドウ戦略を取り入れた。 WikiMIAとMIMIRベンチマークの実験は、Gap-K%が最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 6.612630497074871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The opacity of massive pretraining corpora in Large Language Models (LLMs) raises significant privacy and copyright concerns, making pretraining data detection a critical challenge. Existing state-of-the-art methods typically rely on token likelihoods, yet they often overlook the divergence from the model's top-1 prediction and local correlation between adjacent tokens. In this work, we propose Gap-K%, a novel pretraining data detection method grounded in the optimization dynamics of LLM pretraining. By analyzing the next-token prediction objective, we observe that discrepancies between the model's top-1 prediction and the target token induce strong gradient signals, which are explicitly penalized during training. Motivated by this, Gap-K% leverages the log probability gap between the top-1 predicted token and the target token, incorporating a sliding window strategy to capture local correlations and mitigate token-level fluctuations. Extensive experiments on the WikiMIA and MIMIR benchmarks demonstrate that Gap-K% achieves state-of-the-art performance, consistently outperforming prior baselines across various model sizes and input lengths.
• Abstract（参考訳）: LLM(Large Language Models)における大規模な事前学習コーパスの不透明さは、プライバシと著作権に関する重大な懸念を提起し、事前学習データ検出が重要な課題となっている。 既存の最先端の手法は一般的にトークンの確率に依存するが、モデルのトップ1予測と隣接するトークン間の局所的相関から分岐する点をしばしば見落としている。 本研究では,LLM事前学習の最適化に基礎を置いた新しい事前学習データ検出手法であるGap-K%を提案する。 モデルのトップ1予測と目標トークンとの相違が,トレーニング中に明示的にペナル化される強い勾配信号を誘導することを確認する。 これによってGap-K%は、トップ-1予測トークンとターゲットトークンのログ確率ギャップを活用し、スライディングウィンドウ戦略を取り入れて、局所的な相関を捉え、トークンレベルの変動を緩和する。 WikiMIAとMIMIRのベンチマークによる大規模な実験により、Gap-K%は最先端のパフォーマンスを達成し、様々なモデルサイズと入力長で常に先行ベースラインを上回っていることが示された。

関連論文リスト

• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection [16.838728310658105]
  本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T05:08:34Z)
• Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection [37.65064631532493]
  対象領域のデータに対する教師なし予測を行うために、事前訓練されたモデルを微調整することは、2つの課題を示す。 我々は,事前学習データを微調整データ混合物に注入する効率を計測し,過度な適合を回避し,過度な適合を緩和する。 本研究の実際的な特徴は、微調整データ混合物に1%の事前学習データを注入することで、事前学習セットを忘れないようにすることである。
  論文  参考訳（メタデータ） (2025-02-09T21:44:27Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens [1.2549198550400134]
  大きな言語モデル(LLM)は広く使われているが、プライバシー、セキュリティ、著作権については不透明なトレーニングデータのために懸念されている。 この問題に対する現在の解決策は、メンバーシップ推論攻撃(MIA)のような機械学習プライバシで探索されたテクニックを活用する。 本稿では、この信頼性を軽減し、同定を効果的に増幅する適応型事前学習データ検出法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T23:43:59Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Joint Prediction Regions for time-series models [0.0]
  IIDデータの場合、JPR(Joint Prediction Region)の計算は容易である。 このプロジェクトは、JPRを構築するWolfとWunderliのメソッドを実装し、他のメソッドと比較することを目的としている。
  論文  参考訳（メタデータ） (2024-05-14T02:38:49Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks [17.243744418309593]
  本研究では,公平度差分結果に基づく公平度向上モデルに対する効率的なMIA手法を提案する。 また、プライバシー漏洩を緩和するための潜在的戦略についても検討する。
  論文  参考訳（メタデータ） (2023-11-07T10:28:17Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Patch-level Gaze Distribution Prediction for Gaze Following [49.93340533068501]
  トレーニング後の視線に対するパッチ分布予測(PDP)手法を提案する。 本モデルでは,アノテーションの差が大きい画像上でのより優れたヒートマップ分布を予測することにより,MSE損失の正則化を図っている。 実験により,ターゲット予測とイン/アウト予測サブタスクのギャップを埋めるモデルが得られた。
  論文  参考訳（メタデータ） (2022-11-20T19:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。