論文の概要: When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide
- arxiv url: http://arxiv.org/abs/2608.12489v1
- Date: Wed, 12 Aug 2026 18:10:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.301848
- Title: When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide
- Title（参考訳）: 不平等なトップk配置のオフライン評価を信頼できるのはいつか? 制御された再現可能なベンチマークと実践者ガイド
- Abstract要約: 5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。
ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。
結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Organizations decide whom to treat under a budget and want to know what a targeting rule would have earned before deploying it. Off-policy evaluation promises this from logged data, but the deployable rule is a deterministic top-k policy: it removes all averaging over actions, so weak overlap hits the estimate directly. We benchmark six estimators across five datasets and two known-effect sweeps, and validate the mechanisms against a non-simulated paired reference. First, weak overlap is governed by logger-target action alignment, not by logging sharpness alone: what governs support is the logger's probability of the target's actions. Sharpening a logger built from the target's own score barely moves overlap over the tested range; action-level disagreement collapses it. Effective sample size ranks this risk across logging environments, but is weak at ranking candidates within the single log a practitioner holds, and its cut point does not transfer. Second, the optimizer's curse is not fixed by cross-fitting the outcome nuisance. When the rule is fit on the data used to evaluate it, cross-fitting the nuisance alone leaves the reuse bias in place and makes it worse. Honest policy-level splitting avoids the reuse by targeting the learning procedure's value -- a change of estimand, not a de-biasing of the full-sample policy. Third, propensity-estimation error is the largest degradation we measure: an out-of-fold estimate hurts IPS more than any other stress we apply, leaves doubly-robust estimation almost unchanged, and can invert the overlap diagnostic itself. Logging is synthesized and propensities floored at 0.02, so every failure occurs with bounded weights; the floor also reduces the two tuned hybrids to their untuned parents, leaving four practically distinct estimators, and all exact-value surfaces are synthetic or semi-synthetic. We release the benchmark; public data only.
- Abstract（参考訳）: 組織は予算の下で誰が扱うかを決め、デプロイする前にターゲティングルールがどんなものになったか知りたがります。
オフ政治評価では、ログ化されたデータからこれを保証しているが、デプロイ可能なルールは決定論的のトップkポリシーである。
5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。
まず、弱いオーバーラップは、シャープネスのみをロギングすることによってではなく、ロガーとターゲットのアクションアライメントによって管理される。
ターゲット自身のスコアから構築されたロガーのシャープ化は、テストされた範囲でほとんどオーバーラップせず、アクションレベルの不一致は、それを崩壊させる。
効果的なサンプルサイズは、ロギング環境全体でこのリスクをランク付けするが、実践者が保持する単一のログ内の候補のランク付けには弱く、そのカットポイントは転送されない。
第二に、オプティマイザの呪いは結果のニュアンスをクロスフィットすることで固定されない。
ルールがそれを評価するために使用されるデータに適合する場合、ニュアンスのみをクロスフィットさせることは、再利用バイアスを残し、それを悪化させます。
正直な政策レベルでの分割は、学習手順の価値を目標にすることで再利用を避けます。
第3に、確率推定誤差は私たちが測定した最大の劣化であり、アウト・オブ・フォー・フォールドの見積もりは、他のどんなストレスよりもIPSを傷つけます。
検層は0.02の精度で合成され、全ての失敗は有界な重みで発生し、フロアは2つの調律されたハイブリッドを調整されていない両親に還元し、4つの事実上異なる推定器を残し、全ての正確な値面は合成または半合成である。
ベンチマークをリリースします。公開データのみです。
関連論文リスト
- Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。
段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。
信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
論文 参考訳（メタデータ） (2026-08-20T08:04:00Z) - Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。
マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
論文 参考訳（メタデータ） (2026-08-05T10:59:53Z) - Robust Estimation of Sparse Numerical Vectors under Local Differential Privacy [61.848691894557426]
ローカルディファレンシャルプライバシ(LDP)プロトコルは、中毒攻撃に対して脆弱である。
本稿では,頑健なスパースベクトル平均推定問題に対処する。
本稿では,バイアスの正確な表現を行うための注意深い分析に基づく補正手法を提案する。
論文 参考訳（メタデータ） (2026-07-30T07:55:09Z) - When Does Span-Guided Detoxification Help? Human Preferences and Evaluator Diagnostics in a Controlled Comparison [0.0]
span-guided rewritingは、注釈付き有害なスパンに編集をローカライズすることで意味を保つことを目的としているが、同じ制約は有害な意図を十分に緩和することができない。
我々は、固定された単世代環境下で、密集した盲目評価を行う。
人間の好みは、一様に優れた書き直し戦略というよりも、トレードオフを明らかにする。
論文 参考訳（メタデータ） (2026-07-29T11:37:12Z) - Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation [2.733105115068754]
反復モデルの再トレーニングなしにShapley値を近似する,スケーラブルで推論のみのデータアベイラビリティパイプラインを導入する。
重厚な2つのアライメントデータセットの衛生化におけるパイプラインの有効性を実証する。
論文 参考訳（メタデータ） (2026-07-24T03:31:44Z) - Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention [14.376426170653707]
2つのトラジェクトリプレフィックスは、異なるアクションを必要とする間、同じリスク見積を持つことができる。
我々は、このミスマッチをターゲットエラーとして形式化し、介入の利点を特定する。
論文 参考訳（メタデータ） (2026-06-19T13:08:17Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Tailoring Strictly Proper Scoring Rules for Downstream Tasks: An Application to Causal Inference [48.78219918881965]
本稿では,ダウンストリーム誤差メトリックの局所曲率をマッチングすることにより,タスク固有の厳密なスコアリングルールを導出するフレームワークを提案する。
これを平均処理効果 (ATE) 推定に適用し, 閉形式損失と対応する正準確率写像を導出する。
論文 参考訳（メタデータ） (2026-06-02T08:41:25Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive
Person Re-Identification [54.174146346387204]
ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。
擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。
本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
論文 参考訳（メタデータ） (2021-12-28T07:40:12Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。