論文の概要: BenchChecker: Assessing the Credibility of Bug-Fixing Benchmarks for LLMs

• arxiv url: http://arxiv.org/abs/2610.19447v1
• Date: Wed, 14 Oct 2026 02:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.920591
• Title: BenchChecker: Assessing the Credibility of Bug-Fixing Benchmarks for LLMs
• Title（参考訳）: BenchChecker: LLMのバグフィクスベンチマークの信頼性を評価する
• Abstract要約: BenchCheckerは、オープンソースモデルとクローズドソースモデルの両方と互換性のあるフレームワークである。 法医学に基づく2段階検出プロセスを採用し、テキストモデル出力のみを用いている。 6つのベンチマークで約0.9の2-16スコアで堅牢な検出を実現している。
• 参考スコア（独自算出の注目度）: 18.847120581765868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) show promise for Automatic Program Repair (APR), existing benchmarks suffer from data contamination, in which test samples appear in training sets, artificially inflating performance. To address this, we propose BenchChecker, a framework compatible with both open-source and closed-source models that supports more credible evaluation by detecting such contamination. Grounded in the observation that persistent patches likely remain in recent repository snapshots used for training, BenchChecker employs a forensics-based two-stage detection process using only textual model outputs together with public repository history. The first stage conducts a repository presence test by probing the model with code prefixes to infer training inclusion; the second stage performs a patch presence test to verify patch persistence via similarity alignment and test-suite verification. Evaluations using StarCoder-15B, StarCoder2-15B, and CodeGen2-16B trained on The Stack v2 demonstrate that BenchChecker achieves robust detection with AUC scores around 0.9 across six benchmarks. Furthermore, applying BenchChecker to SWE-bench Verified and Multi-SWE-bench reveals that filtering contaminated samples reduces the reported resolution rates of most LLMs by more than 20% relative to the original rates on medium-difficulty tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は自動プログラム修復(APR)を約束するが、既存のベンチマークはデータ汚染に悩まされ、トレーニングセットにテストサンプルが現れる。 そこで本稿では,オープンソースモデルとクローズドソースモデルの両方に互換性のあるフレームワークであるBenchCheckerを提案する。 BenchChecker氏は、トレーニングに使用される最近のリポジトリスナップショットに永続的なパッチが残っている可能性が高いという観察に基づいて、テキストモデル出力と公開リポジトリ履歴のみを使用して、法医学ベースの2段階検出プロセスを採用している。 第1段階は、トレーニングインクルージョンを推測するためのコードプレフィックスをモデルに入力することで、リポジトリ存在テストを実施し、第2段階は、類似性アライメントとテスト適合性検証を通じてパッチ永続性を検証するパッチ存在テストを実行する。 The Stack v2でトレーニングされたStarCoder-15B、StarCoder2-15B、CodeGen2-16Bによる評価は、BenchCheckerが6つのベンチマークで約0.9のAUCスコアで堅牢な検出を実現していることを示している。 さらに、ベンチチェッカーをSWE-bench VerifiedおよびMulti-SWE-benchに適用すると、汚染されたサンプルをフィルタリングすることで、ほとんどのLCMの報告された分解能率が、中分散タスクにおける元のレートと比較して20%以上減少することが明らかとなった。

関連論文リスト

• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• Evaluating Agentic Code Repair Capabilities in Distributed Systems [12.535741000126803]
  DDBenchは、13のオープンソース分散システムから採掘された60の歴史的バグのコード修正ベンチマークである。 DDBench上での10個のLDMの評価結果から,いくつかの知見が得られた。
  論文  参考訳（メタデータ） (2026-08-14T19:59:56Z)
• SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
  SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。 各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。 2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
  論文  参考訳（メタデータ） (2026-08-10T16:23:19Z)
• When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
  検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。 トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。 失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
  論文  参考訳（メタデータ） (2026-07-12T17:17:18Z)
• SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models [27.825867704129703]
  グレーボックスとブラックボックスの設定の両方に対して,textbfself-textbfreferential leakage 検出フレームワークを導入する。 SrDetectionは、ベンチマークサンプルのセマンティックに等価な変種を生成し、元のモデルの振る舞いとその変種との対比によってリークを検出する。 異なるモデルと訓練段階にわたって、SrDetectionはグレーボックス設定では平均F1を21.52ポイント、ブラックボックス設定では14.46ポイント改善している。
  論文  参考訳（メタデータ） (2026-06-29T05:48:42Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。