論文の概要: CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

• arxiv url: http://arxiv.org/abs/2609.22183v1
• Date: Thu, 27 Aug 2026 21:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.760876
• Title: CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds
• Title（参考訳）: CleanScore: 否定的なコントロールと感性境界を備えたブラックボックスベンチマーク監査
• Abstract要約: 評価結果のみを用いたブラックボックス監査であるCleanScoreを提案する。 各ベンチマーク質問は、1つの公開形式と2つの独立に書かれた新しい形式で、その数、事実、答えを保持する親項目となる。 登録されたコントロールされた露光実験は、植えられた露光を検出し、新鮮な形態の露光の下で静かである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Public benchmark scores may reflect skill, prior exposure to the questions, or both, and for most models the training data are unknown. We present CleanScore, a black-box audit using scored outputs only. Each benchmark question becomes a parent item with one public form and two independently written fresh forms preserving its numbers, facts and answer. The audit reports an interval for the public-form advantage rather than a verdict, and a private negative-control bank with an explicit transport radius separates exposure from ordinary form mismatch. A registered controlled-exposure experiment detects planted exposure and stays quiet under fresh-form exposure. A registered audit of five open models on 200 GSM8K and 200 ARC-Challenge items finds no exposure-consistent advantage, bounding surface-form inflation below five points. Registered positive controls then bound what such a null can mean. Leaking an item raises accuracy on paraphrases the model never saw almost as much as on the leaked wording, leaving 52% to 110% of the effect invisible to a paraphrase audit. On ARC a planted 49-point advantage shows an observable gap of -0.020, and about 20 points survive rewriting stem and options, across four training seeds. A surface-form null bounds far less than the phrase contamination audit implies.
• Abstract（参考訳）: 公開ベンチマークスコアは、スキル、質問への事前の露出、あるいは両方を反映する可能性がある。 評価結果のみを用いたブラックボックス監査であるCleanScoreを提案する。 各ベンチマーク質問は、1つの公開形式と2つの独立に書かれた新しい形式で、その数、事実、答えを保持する親項目となる。 この監査は、評決よりも公的な形態の優位性のためのインターバルを報告し、明示的な輸送半径を持つプライベートなネガティブコントロールバンクは、通常の形態のミスマッチから露出を分離する。 登録されたコントロールされた露光実験は、植えられた露光を検出し、新鮮な形態の露光の下で静かである。 200 GSM8Kと200 ARC-Challengeアイテムの5つのオープンモデルの登録監査では、表面形状のインフレーションが5点以下に制限されているため、露出に一貫性のない優位性は見つからない。 登録された正のコントロールは、そのようなnullが意味するところをバウンドする。 アイテムを漏洩させると、パラフレーズの正確さが上昇し、このモデルはリークされた単語よりもほとんど見つからず、パラフレーズ監査で見えない効果の52%から110%を残した。 ARC上では49点の利点が観測可能な-0.020のギャップを示し、約20点が4つの訓練種子の茎とオプションの書き直しに成功している。 表形式ヌルバウンドは、句汚染監査が示すよりもはるかに少ない。

関連論文リスト

• What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark [0.0]
  私たちは60のタスクと470のアイテムのベンチマークを作成しました。 私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。 コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
  論文  参考訳（メタデータ） (2026-09-05T15:43:05Z)
• Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation [0.0]
  ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。 我々は,各タイプの敗北の緩和によって組織された分類を紹介した。 2つの変数は、予め登録された有病率-ロバスト閾値を下回る。
  論文  参考訳（メタデータ） (2026-08-29T23:04:09Z)
• Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
  LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。 このエンドポイントは、報告するスケールでは特定されない。 我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-27T16:10:16Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。