論文の概要: When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits

• arxiv url: http://arxiv.org/abs/2608.11560v1
• Date: Wed, 12 Aug 2026 01:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.413872
• Title: When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
• Title（参考訳）: オフライン評価が過ちをきたす時:遅延フィードバックコンテキスト帯域におけるリワードとポリシー選択のための診断プロトコル
• Abstract要約: CMABによるマーケティングメッセージのパーソナライズ(パーソナライズ)は、実際のビジネス価値を駆動する。 しかし、最終的に重要な目的は数週間後、オンライン学習を駆動するには遅すぎる。 我々は2つの軸に報酬と政治の候補をスクリーニングする順序付き診断プロトコルを提供する。
• 参考スコア（独自算出の注目度）: 11.731565558821835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalizing marketing messages with contextual multi-armed bandits (CMABs) drives real business value, yet the objective that ultimately matters - a downstream conversion - is observed only weeks later, too late to drive online learning. Teams therefore train the bandit on a fast proxy reward, and separately must judge whether a contextual bandit is worth its complexity over sending one best message. Settling both decisions with the usual offline checks - a batch off-policy estimate, a marginal arm-discrimination test, a confidence interval - can mislead systematically under delayed feedback. We give an ordered diagnostic protocol that screens a reward-and-policy candidate on two axes, alignment (does optimizing the reward move the north-star?) and learnability (can the bandit identify the reward-optimal policy?), before trusting any reported lift. We validate it where the truth is known - a public off-policy-evaluation benchmark and a controllable synthetic generator - and illustrate it on a deployed large-marketplace push system (where, with five arms and one split, the evidence is directional rather than powered). Two lessons recur. (N1) A single offline number can mis-rank rewards: a denser reward signal gives the bandit more to learn from, so rewards that look tied in a static estimate pull apart once learning happens online. (N2) If you cannot tell in advance which single message is best, a per-user policy partly just avoids betting on the wrong one - that looks like personalization but is really robustness, so a "personalization premium" is easily overstated. Our contribution is methodological rather than algorithmic: the ordered protocol, the two lessons it surfaces, and the end-to-end experience of applying it to a delayed-feedback CMAB.
• Abstract（参考訳）: コンテキスト的マルチアームバンディット(CMAB)によるマーケティングメッセージのパーソナライズは、実際のビジネス価値を駆動しますが、最終的に重要な目標であるダウンストリーム変換は、オンライン学習を駆動するには遅すぎる、数週間後に観測されます。 そのため、チームは、高速なプロキシ報酬でバンディットをトレーニングし、最高のメッセージを送信するよりも、コンテキスト的なバンディットが複雑さに値するかどうかを別々に判断する必要があります。 両決定を通常のオフラインチェック – 政治外のバッチ,辺縁の腕識別テスト,信頼区間 – で設定することは,遅延したフィードバックの下で体系的に誤解を招く可能性がある。 我々は、報告されたリフティングを信頼する前に、アライメント(報酬の移動を最適化するのか?)と学習可能性(報酬の最適ポリシーを特定できるのか?)の2つの軸で報酬と政治の候補をスクリーニングする順序付き診断プロトコルを提供する。 公的な非政治評価ベンチマークと制御可能な合成生成装置という、真実が分かっている場所を検証し、デプロイされた大規模な市場プッシュシステム(5つの腕と1つの分断があり、エビデンスは電源ではなく方向を向いている)でそれを説明します。 2つのレッスンが再開。 (N1) より密集した報酬信号により、盗賊はより多く学ぶことができるため、学習がオンラインで起こったら、静的な見積もりに結びついている報酬が引き離される。 (N2) メッセージがどれが最善かを事前に知ることができない場合、ユーザごとのポリシーは、単に間違ったメッセージに賭けることを避けるだけである - パーソナライズに似ているが、本当に堅牢であるため、"個人化プレミアム"は簡単に過大評価される。 我々の貢献はアルゴリズムよりも方法論的であり、順序付きプロトコル、それが表す2つの教訓、遅延フィードバックCMABに適用するエンド・ツー・エンドの経験である。

関連論文リスト

• VST: Verifiable Structured Transport for Auditable Agent-to-Agent Alpha Discovery [11.790070440436294]
  エージェント・ツー・エージェント(A2A)アルファ発見は、マイニングと評価エージェント間の繰り返しのフィードバックサイクルによって遅くなる。 我々はまず、この通信をEmphtyped, causally addressable, unicast recordの構造化エージェント対エージェントプロトコルとして再構成する。 型付けが提供するものは、スキーマチェック、決定論的にリプレイされ、構築によって予測を評価者にリークすることを防ぐ状態である。
  論文  参考訳（メタデータ） (2026-09-07T05:43:50Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• From Forecasting Leaderboards to Deployment Decisions: A Fail-Closed Certification Protocol [0.0]
  予測側勝者が特定のインターフェースとデプロイユーティリティに対してデプロイ操作可能であることをいつ証明できるかを検討する。 Traffic-Hourlyは認証アンカーを提供する: 勝者は摩擦ゼロで同意するが、肯定的な切り替え摩擦により、予測勝者は準最適に配置される。
  論文  参考訳（メタデータ） (2026-06-23T15:59:17Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders [4.1427901594249255]
  本稿では,リプレイおよび適応型マルチラウンドアタックにおける不正防御者の評価と,ディフェンダーが拒否した場合の対策について述べる。 Fraud-R1で構築された凍結したマルチラウンドスイートでは、グラフコンテキストディフェンダはテキストのみのベースラインに対する早期の安全な拒絶を改善する。
  論文  参考訳（メタデータ） (2026-05-20T05:59:54Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Individually Fair Learning with One-Sided Feedback [15.713330010191092]
  我々は,学習者が正に予測されたインスタンスに対してのみ真のラベルを観察できる,一方的なフィードバックを伴うオンライン学習問題を考察する。 各ラウンドで$k$インスタンスが到着し、学習者が配置したランダム化ポリシーに従って分類結果を受け取る。 そこで我々は,一方的なフィードバックによるオンライン学習の問題から,文脈的半帯域問題に対する公平性違反を報告したパネルを構築。
  論文  参考訳（メタデータ） (2022-06-09T12:59:03Z)
• When Are Linear Stochastic Bandits Attackable? [47.25702824488642]
  本稿では,$k$のリニアバンディット環境の攻撃性について検討する。 本稿では,LinUCBとロバスト位相除去に対する2段階攻撃法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T04:12:09Z)
• Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
  問合せ予算で意思決定問題を定式化する。 我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。 我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-02-05T19:56:31Z)
• DORB: Dynamically Optimizing Multiple Rewards with Bandits [101.68525259222164]
  政策に基づく強化学習は、言語生成タスクにおいて、微分不可能な評価指標を最適化するための有望なアプローチであることが証明されている。 We use the Exp3 algorithm for bandit and formulate two approach for bandit rewards: (1) Single Multi-reward Bandit (SM-Bandit), (2) Hierarchical Multi-reward Bandit (HM-Bandit) 我々は,2つの重要なNLGタスクにおいて,様々な自動計測と人的評価を通じて,我々のアプローチの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2020-11-15T21:57:47Z)
• Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback [62.997667081978825]
  本稿では,ユーザのフィードバックを考慮し,3つの戦略を用いて評価する手法を提案する。 ユーザからのフィードバックが制限されているにも関わらず(全体の20%以下)、我々の手法は最先端のアプローチと同じような結果が得られる。
  論文  参考訳（メタデータ） (2020-09-16T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。