論文の概要: LeakScale: Estimating the Causal Effect of Benchmark Exposure

• arxiv url: http://arxiv.org/abs/2609.27176v2
• Date: Thu, 24 Sep 2026 20:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.039922
• Title: LeakScale: Estimating the Causal Effect of Benchmark Exposure
• Title（参考訳）: LeakScale: ベンチマーク公開の因果効果を推定する
• Abstract要約: LeakScaleは、プライベートで家族固有の情報を必要とし、パブリックタスクから派生できない、新鮮な実行可能なタスクを生成する。 2,048のユニークなファミリー、2つのモデルファミリー、2つの実行可能ドメイン、262,144世代にわたる露出は、各モデルとドメインの組み合わせで精度を向上させる。
• 参考スコア（独自算出の注目度）: 0.6768558752130311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evidence that evaluation material entered training does not reveal how much it affected evaluation. This distinction leaves a contaminated benchmark score difficult to interpret: provenance can establish contact, but only a counterfactual can quantify the performance attributable to that contact. We present LeakScale, an interventional framework for estimating this missing quantity. LeakScale creates fresh executable tasks that require private, family-specific information absent from and non-derivable from the public task, controls access to that information, and estimates the resulting control-adjusted change in executable accuracy. Across 2,048 unique families, two model families, two executable domains, and 262,144 generations, exposure improves accuracy in every model-by-domain combination, with gains ranging from +7.17 to +27.31 percentage points. These findings separate two empirical questions that are often conflated: whether benchmark contact occurred and how strongly a reported score depends on it. LeakScale makes the latter directly measurable.
• Abstract（参考訳）: 評価材料がトレーニングに入った証拠は、それがどの程度評価に影響を及ぼしたかを明らかにしない。 証明は接触を確立することができるが、その接触に起因するパフォーマンスを定量化できるのは反事実のみである。 この欠落量を推定するための介入フレームワークであるLeakScaleを紹介します。 LeakScaleは、パブリックタスクから欠落した家族固有の情報を必要とし、その情報へのアクセスを制御し、実行可能精度で制御調整された変更を見積もる、新鮮な実行可能タスクを生成する。 2,048のユニークなファミリー、2つのモデルファミリー、2つの実行可能ドメイン、262,144世代にわたる露出は、+7.17から+27.31ポイントの範囲で、各モデルとドメインの組み合わせで精度を向上させる。 これらの結果は、しばしば混ざり合った2つの経験的質問を分離している。 LeakScaleは後者を直接測定する。

関連論文リスト

• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models [0.2230291569252836]
  本研究では,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用について検討する。 あらゆるモデルにおいて因果的専門家の重要性を予測する観察的指標は見つからない。 以上の結果から, 人口レベルの観察結果から, 専門家の重要度に関するトークンレベルの介入主張まで, 共通の推論段階に対する明確な反例が得られた。
  論文  参考訳（メタデータ） (2026-06-09T11:04:19Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• CORE: Comprehensive Ontological Relation Evaluation for Large Language Models [0.9668495520241466]
  大規模言語モデル(LLM)は多くの推論ベンチマークでよく機能するが、既存の評価では意味のある意味的関係と真の非関連性を区別する能力を評価することは滅多にない。 74の分野にまたがる225万質問のデータセットであるCORE(Comprehensive Ontological Relation Evaluation, 総合オントロジー関係評価)を紹介する。 1000人以上の参加者のヒトのベースラインは92.6%の精度(関係のないペアの95.1%)を達成する
  論文  参考訳（メタデータ） (2026-02-06T07:16:33Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods [27.27230441498167]
  本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。 特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。 これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
  論文  参考訳（メタデータ） (2020-02-17T12:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。