論文の概要: TRACER: A Semantic-Aware Framework for Fine-Grained Contamination Detection in Code LLMs

• arxiv url: http://arxiv.org/abs/2605.24079v1
• Date: Fri, 22 May 2026 17:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.581895
• Title: TRACER: A Semantic-Aware Framework for Fine-Grained Contamination Detection in Code LLMs
• Title（参考訳）: TRACER:コードLLMにおける微細汚染検出のためのセマンティック・アウェアフレームワーク
• Authors: Yifeng Di, Xuliang Huang, Tianyi Zhang,
• Abstract要約: コード汚染検出のためのセマンティック・アウェア・フレームワークであるTRACERを提案する。 TRACERは3つのレベルのセマンティックオーバーラップを使って汚染をモデル化する。 また、広く使用されている3つのベンチマークと、トレーニング後の代表的な3つのデータセットにまたがる、きめ細かいコード汚染検出のための最初のベンチマークも紹介する。
• 参考スコア（独自算出の注目度）: 5.739404573725206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data contamination is a known threat to the reliability of model evaluation. However, it remains underexplored in code large language models (LLMs), where contamination often goes beyond exact duplication. We present TRACER, a semantic-aware framework for fine-grained code contamination detection. TRACER models contamination using three levels of semantic overlap - Functionally Identical, Nearly Identical, and Shared Logic - and detects them through a coarse-to-fine pipeline. We also introduce the first benchmark for fine-grained code contamination detection, spanning three widely used benchmarks and three representative post-training datasets. TRACER achieves strong and consistent performance across multiple LLM backbones, with GPT-5 reaching an F1 score of 0.91 in fine-grained detection. In the binary setting, TRACER attains an F1 of 0.92, outperforming existing methods by 42%-217%. We further conduct ablation studies and error analysis to assess the contributions of individual components in TRACER.
• Abstract（参考訳）: データ汚染は、モデル評価の信頼性に対する既知の脅威である。 しかし、コード大言語モデル(LLM)では、汚染が正確な重複を超えることがしばしばあるため、まだ探索されていない。 コード汚染検出のためのセマンティック・アウェア・フレームワークであるTRACERを提案する。 TRACERは,3レベルのセマンティックオーバーラップ – 機能的不確定,ほぼ不確定,共有論理 – を使用して汚染をモデル化し,粗いパイプラインを通じて検出する。 また、広く使用されている3つのベンチマークと、トレーニング後の代表的な3つのデータセットにまたがる、きめ細かいコード汚染検出のための最初のベンチマークも紹介する。 TRACERは複数のLDMバックボーンで強い一貫した性能を達成し、GPT-5はきめ細かい検出でF1スコア0.91に達する。 二進法では、TRACER は F1 が 0.92 に達し、既存の方法よりも 42%-217% 向上している。 さらに,TRACERにおける個々の成分の寄与を評価するために,アブレーション研究と誤り解析を実施している。

関連論文リスト

• LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics [0.0]
  大規模言語モデル(LLM)は、ログ理解のための有望な新しいアプローチを提供する。 LLMはラベル付きトレーニングデータを必要とせずに、目覚ましいゼロショット機能を示す。 本研究は,ログ異常検出方法を選択するための実用的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2026-04-14T02:51:48Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• CLEANet: Robust and Efficient Anomaly Detection in Contaminated Multivariate Time Series [17.992163690121565]
  CLEANetは汚染時系列における堅牢で効率的な異常検出フレームワークである。 CleanetがCRTF(Contamination-Resilient Training Framework)を導入 cleanetは10の最先端ベースラインと比較して、より高いF1と81.28%低いランタイムを緩和する。
  論文  参考訳（メタデータ） (2025-10-26T10:34:19Z)
• VeriContaminated: Assessing LLM-Driven Verilog Coding for Data Contamination [15.52442661491358]
  大規模言語モデル(LLM)はコード生成に革命をもたらし、様々な確立されたベンチマークフレームワークで例外的な結果を得た。 しかし、データ汚染に関する懸念は、これらの評価の有効性に関する疑問を提起する。 我々は、Verilogコード生成のための最先端(SOTA)評価フレームワークを解析する。
  論文  参考訳（メタデータ） (2025-03-17T12:26:49Z)
• Both Text and Images Leaked! A Systematic Analysis of Data Contamination in Multimodal LLM [53.05486269607166]
  マルチモーダルな大言語モデル (MLLM) はベンチマーク間で大幅に性能が向上した。 マルチモーダルデータ複雑性とマルチフェーズトレーニングのため,既存のLLM検出手法はMLLMでは不十分である。 我々は分析フレームワークMM-Detectを用いてマルチモーダルデータの汚染を分析する。
  論文  参考訳（メタデータ） (2024-11-06T10:44:15Z)
• Rethinking Benchmark and Contamination for Language Models with Rephrased Samples [49.18977581962162]
  大規模な言語モデルは、これまで人間が生成したすべてのデータに基づいて、ますます訓練されている。 多くの人は、事前トレーニングや微調整のデータセットが汚染される可能性があるとして、公開ベンチマークの信頼性を懸念している。
  論文  参考訳（メタデータ） (2023-11-08T17:35:20Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Disentangle Your Dense Object Detector [82.22771433419727]
  深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。 しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。 そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
  論文  参考訳（メタデータ） (2021-07-07T00:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。