論文の概要: UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation
- arxiv url: http://arxiv.org/abs/2608.00915v1
- Date: Sun, 02 Aug 2026 00:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.023659
- Title: UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation
- Title（参考訳）: UpliftBench: アップリフト評価において、アウトカムレジームと客観的ミスマッチを明らかにする
- Abstract要約: UpliftBenchは、外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価する。
この意見の相違は、モデルではなくメトリクスに関するものだと示しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uplift modeling (conditional-average-treatment-effect estimation) drives personalized targeting, yet published uplift benchmarks frequently disagree on which estimator performs best; we show the disagreement is substantially about metrics, not models. UpliftBench evaluates 12 uplift estimators under an outer-test-isolated, multi-objective protocol across seven dataset families; its two findings are identified where a reference objective exists -- F1 on the standard continuous benchmark (IHDP), F2 in a within-sample case study on Jobs. On that benchmark, Qini shows no detectable alignment with effect accuracy -- across all 100 IHDP realizations its mean rank correlation with effect accuracy is +0.07, 95% CI [-0.03, +0.16] -- while AUUC is consistently more aligned (paired prefix-mean-AUUC-over-Qini gap +0.49 [+0.40, +0.59]; the shipped cumulative-gain AUUC aligns better still, +0.73). On Jobs, ranking metrics are structurally insufficient for a sign-threshold policy because they discard the score level; empirically, within the released split-rotation analysis direct policy-risk selection yields lower benchmark regret than random model selection while Qini, AUUC, and uplift-at-$k$ do not (14-15% regret). Calibrating the decision threshold removes 81% of the Qini-selection regret. Both findings are bounded, not universal: F1 is not detected on either validation family (the ACIC and Revenue-Synthetic gaps are both indistinguishable from zero), and F2 vanishes under a budgeted-value objective where rank suffices. UpliftBench releases versioned loaders, fixed protocols, result artifacts, and a reproducible living leaderboard; the public repository accompanies the paper.
- Abstract（参考訳）: アップリフトモデリング(条件付き平均処理効果推定)は、パーソナライズされたターゲティングを駆動するが、アップリフトベンチマークでは、どの推定値が最も優れているかがよく一致しない。
UpliftBench氏は7つのデータセットファミリにわたる外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価している。
このベンチマークでは、Qiniは効果の精度と検出可能なアライメントを示さず、100 IHDPのすべての実現において、その平均ランクと効果の精度との相関は +0.07, 95% CI [-0.03, +0.16] であるが、AUUCは一貫して一致している(paired prefix-mean-AUUC-over-Qini gap +0.49 [+0.40, +0.59]; 出荷された累積ゲイン AUUC は +0.73 である)。
Jobsでは、スコアレベルを廃止しているため、ランキングの指標は構造的に不十分である; リリースされた分割ローテーション分析において、直接ポリシーリスク選択はランダムモデル選択よりも低いベンチマーク後悔をもたらすが、Qini、AUUC、 Uplift-at-k$は(14-15%の後悔)しない。
決定しきい値のキャリブレーションは、キニ選任の後悔の81%を排除している。
F1は検証ファミリー(ACICと収益-合成ギャップはどちらも0と区別できない)で検出されず、F2はランクが十分である予算値の目的の下で消滅する。
UpliftBenchは、バージョン付きのローダ、固定プロトコル、結果アーティファクト、再現可能なライブリーダボードをリリースした。
関連論文リスト
- Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。
段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。
信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
論文 参考訳（メタデータ） (2026-08-20T08:04:00Z) - Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study [1.2716872085463884]
複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く用いられているが、その利得は不規則に異なる。
本稿は、この失敗を定量的に分析する。
論文 参考訳（メタデータ） (2026-08-19T10:50:15Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
エージェントAIシステムは、デプロイメント決定、安全認証、規制コンプライアンス要求を正当化するスコアを正当化する自動ベンチマークを使用して評価される。
本研究は,これらのスコアが,現在の実践よりも体系的に信頼性が低いことを示す実証分析である。
論文 参考訳（メタデータ） (2026-08-01T17:50:12Z) - Beyond Point Estimates: Benchmarking Uncertainty Quantification Methods on the AION-1 Astronomical Foundation Model [47.71489969727656]
Conformalized Quantile Regression (CQR)は、最も貧弱なモデル予測で、ビン内で最高のカバレッジを提供する。
局所的妥当性判別(Locally Valid and Discriminative, LVD)フレームワークのみが、有限サンプルの局所的妥当性を提供する。
論文 参考訳（メタデータ） (2026-06-05T18:29:19Z) - A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。
実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。
我々はこの推定が体系的に偏っていることを証明している。
論文 参考訳（メタデータ） (2026-06-04T09:35:54Z) - Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。
マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。
統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
論文 参考訳（メタデータ） (2026-05-04T04:13:00Z) - Prompt-Induced Score Variance in Zero-Shot Binary Vision-Language Safety Classification [43.86209535250233]
クロスプロンプト分散は、プロンプトレベルの不一致とより高いエラーと強く関連している。
トレーニングフリーの平均アンサンブルは、14のデータセットモデル評価ペアすべてでNLLを改善する。
ゼロショットVLMの第1スコアに対する信頼性ストレステストとみなす。
論文 参考訳（メタデータ） (2026-05-01T01:06:30Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。
位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文 参考訳（メタデータ） (2024-07-01T09:06:57Z) - Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。
AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。
提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-03T11:09:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。