論文の概要: The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

• arxiv url: http://arxiv.org/abs/2608.07517v1
• Date: Thu, 02 Jul 2026 18:51:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.175176
• Title: The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction
• Title（参考訳）: LLMに基づくA/Bテスト予測の校正的棄却
• Abstract要約: 実際の変換テストに関する6週間の事前登録実験から,最も完全な回答を報告する。 330の実A/Bテストでは、ジェミニ3Flashの審査員がコーエンのカッパ=0.14に到達するが、信頼性の高い(統計的に重要な)ラベルの半分では証拠は決定的ではない。 主要なCRO機関のカタログにある「地中真実」ラベルの44%が、重要でないテストによるものであることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a multimodal LLM predict which version of a web page will win a real A/B test from screenshots alone? We report the most complete answer we are aware of, from six weeks of pre-registered experiments on real conversion tests: mostly no -- and the exceptions are identifiable in advance. On 330 real A/B tests a Gemini 3 Flash judge reaches Cohen's kappa = 0.14, but on the trustworthy (statistically significant) half of the labels the evidence is inconclusive (kappa = 0.11, CI includes zero). We show that 44% of the "ground-truth" labels in a leading CRO agency's catalog come from non-significant tests, and that the judge agrees more with the unreliable labels than the reliable ones -- a shared prior between labeler and model, not prediction. Every standard improvement lever (a 2.8x more expensive frontier model, prompt redesign, stimulus fidelity, change-type priors) fails its pre-registered gate. The judge's confident calls are different: a vote-margin gate isolates a subset (49% coverage) reaching kappa = 0.31 on significant labels. We measure the mechanism directly -- judges differing in model or prompt agree with each other at kappa = 0.74-0.88 while agreeing with real outcomes at only ~0.2, so a 16-vote panel carries about 2 effective independent votes -- and we reproduce it in humans: 15 CRO experts agree with each other (inter-rater kappa = 0.53) but score at chance against real outcomes (kappa ~ 0). Consensus, human or model, is reproducible, persuasive, and not evidence. We release our pre-registrations, locked gates, negative results, statistical harness, human responses, and a claims ledger in which every number carries an evidence tier.
• Abstract（参考訳）: マルチモーダルLLMは、スクリーンショットだけで実際のA/Bテストに勝つWebページのどのバージョンを予測できますか? 我々は、実際の変換テストに関する6週間の事前登録実験から、最も完全な回答を報告します。 330 の実 A/B テストでは、ジェミニ3 の Flash 判事がコーエンの kappa = 0.14 に到達するが、信頼できる(統計的に重要な)ラベルの半分の証拠は決定的でない(kappa = 0.11, CI は 0 を含む)。 我々は、主要なCRO機関のカタログにある「地下の真実」ラベルの44%が、重要でないテストから来ていることを示し、裁判官は信頼できるラベルよりも信頼できないラベルに同意している。 すべての標準改良レバー(2.8倍の高価なフロンティアモデル、迅速な再設計、刺激の忠実さ、変更型の先行)は、登録済みのゲートに失敗する。 投票マージンゲートは、重要なラベルでカッパ=0.31に達するサブセット(49%のカバレッジ)を分離する。 このメカニズムを直接測定します -- カッパ = 0.74-0.88 で、実際の結果とわずか0.2 で一致しながら、モデルやプロンプトで異なる判断が一致します。 コンセンサス(人間またはモデル)は再現可能であり、説得可能であり、証拠ではない。 私たちは、事前登録、ロックされたゲート、ネガティブな結果、統計的ハーネス、人間の反応、そして全ての番号が証拠層を持つ主張台帳を公開します。

関連論文リスト

• Admission Without Answers: Label-Free Certification and Experience Learning for LLM-Based Optimization Modeling [8.467936416935986]
  Admitorは、校正された外部行動証拠に基づいて構築された入場ゲートである。 これは、明確に校正された偽発見ターゲットを中心に設計された最初のラベルなし入場機構である。
  論文  参考訳（メタデータ） (2026-08-16T06:18:54Z)
• Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
  私たちは検出器を構築し、その証拠として属性マップを添付します。 私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。 属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
  論文  参考訳（メタデータ） (2026-07-31T16:07:05Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News [47.03825808787752]
  人間は、ニュース記事が人によって書かれたか、あるいは大きな言語モデル(LLM)によって書かれたかを知ることができますか? 本稿では,人間対機械(人間対機械)と正当性判定(正当性対偽判定)を連続的なスケールで測定する研究プラットフォームであるJiceGPTを用いて,この問題を考察する。 筆者らは,(1) 被験者が人文テキストから機械生成物を確実に識別できないこと,(2) 認知疲労による約30回の連続的な評価の後,その精度が低下すること,の5つを報告した。
  論文  参考訳（メタデータ） (2026-04-04T15:03:42Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。