論文の概要: Keep Evaluation Fair: Detecting Data Leakage in Code Generation Benchmarks via Membership Inference Attacks

• arxiv url: http://arxiv.org/abs/2609.09865v1
• Date: Wed, 09 Sep 2026 08:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.950468
• Title: Keep Evaluation Fair: Detecting Data Leakage in Code Generation Benchmarks via Membership Inference Attacks
• Title（参考訳）: 評価フェアを維持する - メンバシップ推論攻撃によるコード生成ベンチマークのデータ漏洩の検出
• Abstract要約: 本稿では,CGMIA(Code-Generation-specific Membership Inference Attack)を提案する。 ベンチマークサンプルのサブセットに影モデルを微調整して、ラベル付きメンバデータと非メンバデータを構築する。 CGMIAは、ほとんどの場合、既存の8つのメンバーシップ推論方法よりも優れていた。
• 参考スコア（独自算出の注目度）: 7.704548705462771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code generation benchmarks are widely used to evaluate Large Language Models (LLMs), but benchmark data leakage into training sets can inflate performance and undermine evaluation validity. DetectLeak, a method specifically designed for code generation benchmark leakage detection, relies on perplexity scores to identify likely leaked samples. However, perplexity mainly reflects general familiarity with code patterns and may perform poorly on complex or rare samples. It also overlooks other useful signals, such as code similarity, functional correctness, and semantic representations. To address these limitations, we propose CGMIA (Code-Generation-specific Membership Inference Attack), a method for detecting leakage in code generation benchmarks. CGMIA fine-tunes a shadow model on a subset of benchmark samples to construct labeled member and non-member data. For each sample, it collects the input prompt, generated code, and reference solution, and extracts expert features, including CodeBLEU, edit distance, test pass rate, and perplexity, together with semantic features from CodeBERT embeddings. An integrated learning module combines these features to capture both surface-level memorization signals and deeper behavioral patterns, enabling a classifier to predict whether a sample was included in the target model's training set. Experiments on eight code generation benchmarks show that CGMIA outperforms eight existing membership inference methods in most cases. It also effectively detects known leaked APPS samples in StarCoder-7B's training data.
• Abstract（参考訳）: コード生成ベンチマークはLarge Language Models (LLMs) の評価に広く使用されているが、トレーニングセットへのベンチマークデータ漏洩はパフォーマンスを低下させ、評価の有効性を損なう可能性がある。 DetectLeakは、コード生成ベンチマークのリーク検出用に特別に設計されたメソッドで、リークする可能性のあるサンプルを特定するために、パープレキシティスコアに依存している。 しかし、パープレキシティは主にコードパターンに対する一般的な習熟度を反映しており、複雑なサンプルや稀なサンプルでは性能が良くない可能性がある。 また、コード類似性、機能的正確性、意味表現など、他の有用な信号も見落としている。 これらの制約に対処するため、コード生成ベンチマークの漏洩を検出するCGMIA(Code-Generation-specific Membership Inference Attack)を提案する。 CGMIAはベンチマークサンプルのサブセットに影モデルを微調整し、ラベル付きメンバーデータと非メンバーデータを構築する。 各サンプルに対して、入力プロンプト、生成されたコード、参照ソリューションを収集し、CodeBLEU、編集距離、テストパス率、パープレキシティなどの専門家機能と、CodeBERT埋め込みからのセマンティック機能とを抽出する。 統合学習モジュールはこれらの特徴を組み合わせて、表面レベルの記憶信号とより深い行動パターンの両方をキャプチャし、分類器がターゲットモデルのトレーニングセットにサンプルが含まれているかどうかを予測する。 8つのコード生成ベンチマークの実験では、ほとんどの場合、CGMIAは8つの既存のメンバシップ推論方法より優れていることが示されている。 また、StarCoder-7Bのトレーニングデータから既知のAPPSサンプルを効果的に検出する。

関連論文リスト

• Synthetic Semantic Supervision for Contrastive Code Representation Learning in Small Transformers: An Empirical Study [8.409799680956013]
  汎用コード埋め込みは、コード検索、分類、検索のためのパワーツールである。 コード機能と意図を強調する自然言語記述を合成的に生成した小型エンコーダのコントラスト事前学習について検討する。
  論文  参考訳（メタデータ） (2026-09-03T11:41:09Z)
• SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models [27.825867704129703]
  グレーボックスとブラックボックスの設定の両方に対して,textbfself-textbfreferential leakage 検出フレームワークを導入する。 SrDetectionは、ベンチマークサンプルのセマンティックに等価な変種を生成し、元のモデルの振る舞いとその変種との対比によってリークを検出する。 異なるモデルと訓練段階にわたって、SrDetectionはグレーボックス設定では平均F1を21.52ポイント、ブラックボックス設定では14.46ポイント改善している。
  論文  参考訳（メタデータ） (2026-06-29T05:48:42Z)
• CodeHacker: Automated Test Case Generation for Detecting Vulnerabilities in Competitive Programming Solutions [8.163435280190027]
  既存のベンチマークは、しばしば微妙なコーナーケースのカバレッジを欠いているため、誤った解決策を通すことができる。 CodeHackerは、プログラムの提出中に潜伏する脆弱性を暴露する逆テストケースを生成する。 実験によると、CodeHackerは既存のデータセットのTrue Negative Rate(TNR)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-23T05:59:30Z)
• AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
  既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。 このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
  論文  参考訳（メタデータ） (2026-02-10T06:58:26Z)
• Effective Code Membership Inference for Code Completion Models via Adversarial Prompts [17.428753624187717]
  コード補完モデルにおけるメンバーシップ推論攻撃(MIA)は、プライバシーリスクを評価する効果的な方法を提供する。 本稿では,コード補完モデルに特化して設計されたAdvPrompt-MIAを提案する。 我々は、APPSおよびHumanEvalベンチマークに対して、Code Llama 7Bのような広く採用されているモデルに対して包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-11-19T04:30:54Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Disproving Program Equivalence with LLMs [22.047880121762013]
  ProbeGenは、2つ以上の実行可能なコードと、その等価性に対する反例を検索するホワイトボックスメソッドである。 ProbeGenは、ベンチマークによる単体テストにより、基礎的真理と等価であると考えられるサンプルの18%を反証することを示した。 ProbeGenを使うことで、意味的な自己整合性のためにLLMサンプルをセマンティックにクラスタリングし、pass@1を10%改善できます。
  論文  参考訳（メタデータ） (2025-02-05T12:54:17Z)
• Collaborative Feature-Logits Contrastive Learning for Open-Set Semi-Supervised Object Detection [75.02249869573994]
  オープンセットのシナリオでは、ラベルなしデータセットには、イン・ディストリビューション(ID)クラスとアウト・オブ・ディストリビューション(OOD)クラスの両方が含まれている。 このような設定で半教師付き検出器を適用すると、OODクラスをIDクラスとして誤分類する可能性がある。 我々は、CFL-Detector(Collaborative Feature-Logits Detector)と呼ばれるシンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T02:57:35Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。