論文の概要: SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

• arxiv url: http://arxiv.org/abs/2606.29815v1
• Date: Mon, 29 Jun 2026 05:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.064087
• Title: SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models
• Title（参考訳）: SrDetection: コード大言語モデルにおけるデータ漏洩検出のための自己参照フレームワーク
• Abstract要約: グレーボックスとブラックボックスの設定の両方に対して,textbfself-textbfreferential leakage 検出フレームワークを導入する。 SrDetectionは、ベンチマークサンプルのセマンティックに等価な変種を生成し、元のモデルの振る舞いとその変種との対比によってリークを検出する。 異なるモデルと訓練段階にわたって、SrDetectionはグレーボックス設定では平均F1を21.52ポイント、ブラックボックス設定では14.46ポイント改善している。
• 参考スコア（独自算出の注目度）: 27.825867704129703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating code large language models (Code LLMs) requires reliable detection of data leakage, where benchmark performance is artificially inflated by exposure to benchmark data during pre-training. Existing approaches either assume access to proprietary training corpora, rely on brittle heuristics such as timestamp filtering, or use external reference sets with manually tuned, non-generalizable thresholds. To address these limitations, we introduce \textbf{SrDetection}, a unified \textbf{s}elf-\textbf{r}eferential leakage detection framework for both gray-box (access to model logits) and black-box (access to model outputs) settings. SrDetection generates semantically equivalent variants of a benchmark sample and detects leakage by contrasting the model's behavior on the original versus its variants, flagging cases where the original is disproportionately easier for the model. We further design a controlled leakage detection testbed and evaluate SrDetection in this environment. Across different models and training stages, SrDetection improves average F1 by 21.52 points in the gray-box setting and 14.46 points in the black-box setting over strong baselines, demonstrating robust, threshold-independent leakage detection. Finally, a gray-box study of 15 widely used Code LLMs on four popular benchmarks reveals benchmark-specific leakage patterns beyond prior overlap-based analyses\footnote{\footnotesize Source code and data are available at https://github.com/SMinL/SrDetectionCode
• Abstract（参考訳）: コード大言語モデル (Code LLMs) の評価には,事前トレーニング中にベンチマークデータに曝露することでベンチマーク性能を人工的に膨らませる,信頼性の高いデータ漏洩検出が必要である。 既存のアプローチでは、プロプライエタリなトレーニングコーパスへのアクセスを前提とするか、タイムスタンプフィルタリングのような脆いヒューリスティックに依存しているか、手動で調整された、一般化不可能なしきい値を持つ外部参照セットを使用するかのいずれかである。 これらの制限に対処するために、グレーボックス(モデルロジットへのアクセス)とブラックボックス(モデル出力へのアクセス)設定の両方に対して、統一された \textbf{s}elf-\textbf{r}eferential leakage フレームワークである \textbf{SrDetection} を導入する。 SrDetectionは、ベンチマークサンプルのセマンティックに等価な変種を生成し、元のモデルとその変種に対するモデルの振る舞いを対比することでリークを検出する。 さらに、制御された漏洩検知テストベッドを設計し、この環境下でSr検出を評価する。 異なるモデルと訓練段階にわたって、SrDetectionはグレーボックス設定で平均F1を21.52ポイント、ブラックボックス設定で14.46ポイント改善し、堅牢で閾値に依存しないリーク検出を実証した。 最後に、人気のある4つのベンチマークで広く使用されている15のコードLLMのグレーボックス調査では、オーバーラップベースの分析以上の、ベンチマーク固有のリークパターンが明らかにされている。

関連論文リスト

• Keep Evaluation Fair: Detecting Data Leakage in Code Generation Benchmarks via Membership Inference Attacks [7.704548705462771]
  本稿では,CGMIA(Code-Generation-specific Membership Inference Attack)を提案する。 ベンチマークサンプルのサブセットに影モデルを微調整して、ラベル付きメンバデータと非メンバデータを構築する。 CGMIAは、ほとんどの場合、既存の8つのメンバーシップ推論方法よりも優れていた。
  論文  参考訳（メタデータ） (2026-09-09T08:16:51Z)
• A Locally Tokenized Generative Model for Robust Time-Series Watermarking [12.477366787279747]
  我々は,グローバルに結合した再符号化に依存する既存の検出器が,後処理攻撃によるヌル分布の双方向ドリフトに悩まされていることを示す。 本稿では,各離散トークンを短い連続したウィンドウから生成する生成モデルであるL-VQVAEと,このトークン空間上の透かし手法であるLVQMarkを提案する。
  論文  参考訳（メタデータ） (2026-08-20T07:25:41Z)
• Dataset Watermarking for Closed LLMs with Provable Detection [45.743499931376704]
  大規模言語モデル(LLM)は、大量のゆるいキュレートされたデータに基づいて事前訓練および後訓練される。 これはデータセットのウォーターマーキングの必要性を動機付けている。データセットのトレーニングが結果モデルに検出可能なシグネチャを残すようなデータセットを設計する。 実証可能な検出が可能な閉LLMのための最初のデータセット透かし手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T19:06:35Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• Leave No TRACE: Black-box Detection of Copyrighted Dataset Usage in Large Language Models via Watermarking [51.74368870268278]
  我々は,大規模な言語モデルにおける著作権付きデータセット使用量を完全にブラックボックスで検出するフレームワークであるTRACEを提案する。 textttTRACEは、プライベートキーでガイドされた歪みのない透かしでデータセットを書き換える。 さまざまなデータセットとモデルファミリにわたって、TRACEは一貫して重要な検出を実現している。
  論文  参考訳（メタデータ） (2025-10-03T12:53:02Z)
• CBW: Towards Dataset Ownership Verification for Speaker Verification via Clustering-based Backdoor Watermarking [85.68235482145091]
  大規模音声データセットは貴重な知的財産となった。 本稿では,新しいデータセットのオーナシップ検証手法を提案する。 我々のアプローチはクラスタリングに基づくバックドア透かし(CBW)を導入している。 我々は,ベンチマークデータセットに対する広範な実験を行い,本手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2025-03-02T02:02:57Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。 4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Concurrent Misclassification and Out-of-Distribution Detection for Semantic Segmentation via Energy-Based Normalizing Flow [0.0]
  最近のセマンティックセグメンテーションモデルは、トレーニングデータセットの分布に類似したテスト時間例を正確に分類する。 本稿では,正規化フローフレームワークに依存するIDMとOOD検出を同時に行うための生成モデルを提案する。 FlowEneDetは、事前トレーニングされたDeepLabV3+およびSegFormerセマンティックセグメンテーションモデルに適用した場合、IDM/OOD検出におけるCityscapes、Cityscapes-C、FishyScapes、SegmentMeIfYouCanベンチマークの有望な結果を達成する。
  論文  参考訳（メタデータ） (2023-05-16T17:02:57Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Watermarking for Out-of-distribution Detection [76.20630986010114]
  Out-of-Distribution (OOD) 検出は、よく訓練された深層モデルから抽出された表現に基づいてOODデータを識別することを目的としている。 本稿では,透かしという一般的な手法を提案する。 我々は,元データの特徴に重畳される統一パターンを学習し,ウォーターマーキング後にモデルの検出能力が大きく向上する。
  論文  参考訳（メタデータ） (2022-10-27T06:12:32Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。