論文の概要: Beyond IPS: Reliable Counterfactual Evaluation in Multi-Stage Ad Systems without Logged Propensities

• arxiv url: http://arxiv.org/abs/2610.40112v1
• Date: Thu, 29 Oct 2026 14:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 08:21:29.161079
• Title: Beyond IPS: Reliable Counterfactual Evaluation in Multi-Stage Ad Systems without Logged Propensities
• Title（参考訳）: IPSを超えて - ログの不要なマルチステージ広告システムにおける信頼性の高い対実的評価
• Abstract要約: 多段階配送システムにおける広告ランク付けポリシーのオフライン評価は、アクションの妥当性がしばしば利用できないため困難である。 DMに基づく逆ファクトリプレイの形式化と混合重み付き報酬モデリングを提案する。 製造におけるトップ1の精度と,シミュレーションにおける中・低オーバーラップを実現した。
• 参考スコア（独自算出の注目度）: 2.6338469083101397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline evaluation of ad-ranking policies in multi-stage delivery systems is challenging because action propensities are often unavailable, limiting inverse propensity scoring (IPS). Reward-model-based estimators such as the Direct Method (DM) avoid propensities but can be biased when candidate policies induce impression distributions that differ from the logged data. We formalize DM-based counterfactual replay and propose mixture-weighted reward modeling, which reweights logged data toward a mixture of candidate-policy distributions using density ratios from a multiclass domain classifier. We bound each candidate's value-estimation error by overlap, cold-start, and replay terms, and derive an asymptotic rule that uses the cold-start mass to decide whether to trust offline selection or route candidates to online A/B testing. On an ads-delivery simulator and on production traffic from a large-scale CTR ranking system, the mixture-weighted reward model improves policy selection over its unweighted counterpart in both settings, with the largest gains at low overlap in simulation. Combined with a doubly robust correction, it attains the highest Top-1 accuracy in production and at low and medium overlap in simulation.
• Abstract（参考訳）: 多段階配送システムにおける広告ランク付け政策のオフライン評価は、アクション適合性はしばしば利用できないため、逆適合性スコアリング(IPS)を制限するため困難である。 ダイレクト・メソッド(DM)のような逆モデルに基づく推定器は、適合性は避けるが、候補ポリシーがログデータとは異なる印象分布を誘導するとバイアスが発生する。 DMに基づく逆ファクトリプレイを形式化し、マルチクラスドメイン分類器の密度比を用いて、ログ化されたデータを候補ポリティクスの混合に対して重み付けする混合重み付き報酬モデルを提案する。 我々は、各候補の値推定誤差を重なり、コールドスタート、リプレイの条件でバインドし、コールドスタートマスを使用してオフライン選択を信頼するか、オンラインA/Bテストに候補者をルーティングするかを決定する漸近的なルールを導出する。 広告配信シミュレータと大規模CTRランキングシステムからのプロダクショントラフィックに基づいて、混合重み付き報酬モデルにより、両方の設定において、未重み付きモデルよりもポリシー選択が改善され、シミュレーションのオーバラップで最大のゲインが得られます。 2倍のロバストな補正と組み合わせることで、生産における最高トップ1の精度と、シミュレーションにおける低と中の重なりを達成できる。

関連論文リスト

• Diffusion Reward Models [56.078040107894]
  DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
  論文  参考訳（メタデータ） (2026-09-27T17:57:14Z)
• Adaptive Doubly Robust Off-Policy Evaluation for Ranking Policies under Diverse User Behavior [0.7161783472741748]
  Inverse Propensity Scoring (IPS) は過度な分散を持つ。 IPS と Reward Interaction IPS (RIPS) は、ユーザーがランキングを閲覧する方法に関する仮定を定め、ばらつきを減らす。 本稿では適応重み付けと再帰回帰を組み合わせた適応二重ロバスト(ADR)を提案する。
  論文  参考訳（メタデータ） (2026-08-30T06:43:36Z)
• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• Discrete Flow Matching for Offline-to-Online Reinforcement Learning [10.112779201155005]
  DRIFTは、オフラインで事前訓練された連続時間マルコフ連鎖(CTMC)ポリシーを更新するオンラインの微調整手法である。 大規模離散的なアクション空間に対して、参照ポリシーロールアウトからサンプリングされたアクションの小さなサブセット上でアクターを更新する候補セット近似を導入する。 離散的動作RLタスクに対する実験により,本手法が全タスクに対して安定したオフライン-オンライン改善を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-12T16:44:02Z)
• MASS-DPO: Multi-negative Active Sample Selection for Direct Policy Optimization [66.81594613265833]
  直接選好最適化(DPO)を拡張したPlackett--Luce(PL)モデルに基づくマルチ負の選好最適化 そこで本研究では,PL固有のフィッシャー情報目的を導出し,各プロンプト内のコンパクトで情報的な負の部分集合を選択するマルチ負のアクティブサンプル選択法であるMASS-DPOを紹介する。 MASS-DPOは、既存の手法を常に精度で上回り、リコール/NDCGとマージンベースの最適化のダイナミクスを改善し、かなり少ない負のアライメントを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:18:08Z)
• Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE [7.609008983716641]
  我々は、一般的なネガティブ選択戦略とDPOトレーニングとの相互作用を比較するために、マルチモーダルシーケンシャルレコメンデーションの実験を行う。 我々の中心的な発見は、決定論的ハードネガティブを動的トップK候補プールからのサンプリングに置き換えた単純な修正により、常にランク付け性能が向上することである。
  論文  参考訳（メタデータ） (2026-03-31T04:49:32Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• Simultaneous Reward Distillation and Preference Learning: Get You a Language Model Who Can Do Both [6.102274021710727]
  本稿では, DRDO (Direct Reward Distillation and Policy-Optimization) を紹介する。 Ultrafeedback と TL;DR データセットの結果、DRDO が学習したポリシーが、期待される報酬の点で DPO や e-DPO などの手法を超越していることが示されている。
  論文  参考訳（メタデータ） (2024-10-11T02:19:11Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。