論文の概要: WildTrace: Evaluating Training Data Detection in Realistic Large-Scale LLM Post-Training

• arxiv url: http://arxiv.org/abs/2610.16152v1
• Date: Mon, 12 Oct 2026 04:21:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.306988
• Title: WildTrace: Evaluating Training Data Detection in Realistic Large-Scale LLM Post-Training
• Title（参考訳）: WildTrace: 大規模LLMポストトレーニングにおけるトレーニングデータ検出の評価
• Abstract要約: 我々は,現実的かつ大規模なポストトレーニング環境における検出方法の評価を目的とした,信頼性の高いベンチマークであるtextscmethodを紹介する。 その結果,ベストパフォーマンスの手法でさえ,ベンチマークで平均0.529のAUCを達成できることが判明した。 これらの知見は,現実的なシナリオ下で有効な,実用的で,堅牢な検出手法を開発する上で,重要な可能性を示すものである。
• 参考スコア（独自算出の注目度）: 17.03080986384449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although post-training significantly enhances model performance, the use of massive undisclosed data raises concerns about benchmark contamination and copyright infringement. This drives growing interest in training data detection for post-trained models. Existing evaluations for training data detection often leverage benchmarks constructed post hoc, which can introduce distribution shifts. Alternatively, controlled evaluations rely on small-scale training setups that diverge from realistic post-training settings. As a result, their reported performance may not faithfully reflect the effectiveness of detection methods in real-world scenarios. To this end, we introduce \textsc{\method}, a reliable benchmark designed to evaluate detection methods in realistic, large-scale post-training settings. Built on a multi-stage pipeline, \method\space encompasses stage-specific models throughout the post-training lifecycle, spanning SFT, DPO, and RL. To perform a reliable evaluation, we construct model-specific evaluation sets across four diverse tasks, featuring distribution-matched members and non-members with verifiable membership labels. Our results reveal that even the best-performing method achieves an average AUC of only 0.529 on our benchmark, which approaches random-guessing level (0.5). Furthermore, our analysis suggests that evaluation protocols can significantly affect measured detection performance. These findings highlight the significant potential for developing effective, practical, and robust detection methods under realistic scenarios.
• Abstract（参考訳）: ポストトレーニングはモデルの性能を大幅に向上させるが、大量の未公開データを使用することで、ベンチマークの汚染や著作権侵害に対する懸念が高まる。 これにより、トレーニング後のモデルのトレーニングデータ検出への関心が高まります。 トレーニングデータ検出のための既存の評価は、しばしばポストホックで構築されたベンチマークを利用しており、分散シフトを導入することができる。 あるいは、コントロールされた評価は、現実的なポストトレーニング設定から逸脱する小規模のトレーニング設定に依存する。 その結果,実世界のシナリオにおける検出手法の有効性を忠実に反映することができない可能性が示唆された。 そこで本研究では,現実的かつ大規模なポストトレーニング設定における検出手法の評価を目的とした信頼性ベンチマークである‘textsc{\method} を紹介する。 マルチステージパイプライン上に構築された \method\space は,SFT,DPO,RL にまたがる,トレーニング後のライフサイクルを通じて,ステージ固有のモデルを対象とする。 信頼性の高い評価を行うため、4つのタスクにまたがるモデル固有の評価セットを構築し、分布マッチングされたメンバーと、検証可能なメンバーラベルを持つ非メンバーを特徴付ける。 この結果から,ベストパフォーマンス手法でさえ,ランダムゲスティングレベル (0.5) にアプローチしたベンチマークで平均0.529のAUCを達成できることが判明した。 さらに,評価プロトコルが検出性能に大きな影響を及ぼす可能性が示唆された。 これらの知見は,現実的なシナリオ下で有効な,実用的で,堅牢な検出手法を開発する上で,重要な可能性を示すものである。

関連論文リスト

• Beyond Toy Benchmarks: A Systematic Evaluation of OOD Detection Methods For Plant Pathology Classification [0.0]
  ディープラーニングシステムの信頼性確保には,アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本研究では, ポストホックスコアリング, 補助目標, エネルギーモデル, 制約付き最適化を対象とする6つのOOD検出手法について検討した。
  論文  参考訳（メタデータ） (2026-05-09T02:27:01Z)
• SCOPED: Score-Curvature Out-of-distribution Proximity Evaluator for Diffusion [5.008779702997125]
  アウト・オブ・ディストリビューション(OOD)検出は、視覚、ロボット工学、強化学習などにおける機械学習システムの信頼性の高い展開に不可欠である。 SCOPED(Score-Curvature Out-of-distribution Proximity Evaluator for Diffusion)を紹介する。 SCOPEDは、多様なデータセットでトレーニングされた単一の拡散モデルから計算され、モデルのスコア関数のジャコビアントレースと2乗ノルムを単一のテスト統計量に結合する。 4つのビジョンベンチマークでは、SCOPEDは計算コストの低いにもかかわらず、競合または最先端の精度リコールスコアを達成している。
  論文  参考訳（メタデータ） (2025-10-01T20:54:49Z)
• How to Achieve Higher Accuracy with Less Training Points? [2.1834099301440526]
  本稿では,学習セットにどのトレーニングサンプルを含めるべきかを決定するための影響関数に基づく手法を提案する。 当社のアプローチでは、データセット全体のトレーニングに匹敵するパフォーマンスを示しながら、データの10%しか使用していません。
  論文  参考訳（メタデータ） (2025-04-18T09:38:26Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。