論文の概要: Impression Share Prediction: An Offline Evaluation Task for Ranking Systems
- arxiv url: http://arxiv.org/abs/2608.16872v1
- Date: Mon, 17 Aug 2026 17:52:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.831807
- Title: Impression Share Prediction: An Offline Evaluation Task for Ranking Systems
- Title（参考訳）: 印象共有予測:ランキングシステムのためのオフライン評価タスク
- Abstract要約: 本稿では,オフライン評価タスクとして,共感共有予測を提案する。
候補者はライブトラフィックを提供していないので、このタスクは本質的に非現実的です。
本研究では,素早い相互作用の信頼信号から印象共有を予測する統計的学習フレームワークを開発する。
- 参考スコア（独自算出の注目度）: 2.455009405787869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline evaluation is a major gateway before online evaluation of ranking models in A/B testing. Standard offline metrics measure predictive accuracy, but are only a surrogate for downstream utility: a model can improve them while redistributing impressions across objective buckets in ways that degrade downstream utility. No offline method surfaces these impression share shifts before online evaluation. We propose \emph{impression share prediction} as an offline evaluation task: given a candidate ranking model, predict the distribution of impressions it would produce across objective buckets - impressions grouped by optimization goal (e.g., click, video view). The task is inherently counterfactual, since the candidate has never served live traffic. We propose a structural causal model of how model predictions and delivery capacity jointly determine impression allocation, and show the counterfactual effect is identified from observational data. Building on this, we develop a statistical learning framework that predicts impression shares from a candidate's early-interaction confidence signals and current system state, trained on historical data. On data from multiple ranking model families, a Random Forest reduces L1 error by 49\% over a constant baseline for models seen during training. For held-out models, evaluated by time since first appearance, the first hour is the closest analog to true online evaluation and the hardest: the Random Forest falls below the baseline because the capacity state still reflects the prior model. An encoder-conditioned architecture that simulates a 2-hour rollout over recent auction dynamics recovers $+$22\% L1 in this regime.
- Abstract（参考訳）: オフライン評価は、A/Bテストにおけるランキングモデルのオンライン評価に先立つ主要なゲートウェイである。
標準のオフラインメトリクスは予測精度を計測するが、それは下流ユーティリティのサロゲートに過ぎない。モデルは、下流ユーティリティを劣化させる方法で、対象のバケット間でインプレッションを再分配しながら、それらを改善することができる。
オンライン評価の前に、これらの印象共有のシフトをオフラインで表す方法はない。
候補ランキングモデルが与えられた場合、最適化目標(例えば、クリック、ビデオビュー)によってグループ化される印象の分布を予測する。
候補者はライブトラフィックを提供していないので、このタスクは本質的に非現実的です。
本稿では,モデル予測と配送能力が共同で印象割り当てを決定する方法に関する構造因果モデルを提案する。
そこで我々は,過去のデータに基づいて学習した,候補者の早期反応信頼信号と現在のシステム状態から印象共有を予測する統計的学習フレームワークを開発した。
複数のランク付けモデルファミリのデータに基づいて、ランダムフォレストはトレーニング中に見られるモデルの定数ベースラインに対して、L1エラーを49\%削減する。
最初の出現以来の時間によって評価される保留型モデルでは、最初の1時間は真のオンライン評価と最も近い類似点であり、最も難しい:ランダムフォレストは、キャパシティ状態が以前のモデルに反映しているため、ベースラインより下降する。
2時間のロールアウトをシミュレーションするエンコーダ条件付きアーキテクチャは、最近のオークションのダイナミクスによって、この状態において$+22\% L1を回復する。
関連論文リスト
- Train-before-Test Harmonizes Language Model Rankings [39.02785699830391]
既存の言語モデルベンチマークは、類似のスキルを捉えることを目的としたベンチマークであっても、矛盾するモデルランキングを提供する。
評価の前に、各モデルに同一のベンチマーク固有の微調整を提供することにより、モデルポテンシャルを比較する。
列車前テストで得られたモデルランキングは,全てのベンチマークで顕著に一致していることを示す。
論文 参考訳（メタデータ） (2025-07-07T16:54:18Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Unified Human Localization and Trajectory Prediction with Monocular Vision [64.19384064365431]
MonoTransmotionはトランスフォーマーベースのフレームワークで、モノクロカメラのみを使用して、ローカライゼーションと予測タスクを共同で解決する。
両タスクを統合フレームワークで共同でトレーニングすることにより,ノイズの多い入力による実環境シナリオにおいて,我々の手法がより堅牢であることを示す。
論文 参考訳（メタデータ） (2025-03-05T14:18:39Z) - Streaming egocentric action anticipation: An evaluation scheme and
approach [27.391434284586985]
エゴセントリックなアクション予測は、カメラ装着者が過去の観察から将来のアクションを予測することを目的としている。
現在の評価手法は、入力ビデオが観測された直後に予測が利用可能であると仮定している。
本稿では,モデルが現在の入力セグメントを処理した後のみ,オンラインで予測を行うと仮定したストリーミングエゴセントリックな行動評価手法を提案する。
論文 参考訳（メタデータ） (2023-06-29T04:53:29Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - Value-Consistent Representation Learning for Data-Efficient
Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。
この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。
検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文 参考訳（メタデータ） (2022-06-25T03:02:25Z) - Selective Prediction via Training Dynamics [31.708701583736644]
本研究では,モデルのトレーニング力学を学習することで,最先端の選択的予測性能が得られることを示す。
特に、トレーニングの後半段階で最終予測と大差ないデータポイントを拒否する。
提案された拒絶機構はドメインに依存しない(すなわち、離散予測と実数値予測の両方に有効)、既存の選択的予測手法と柔軟に組み合わせることができる。
論文 参考訳（メタデータ） (2022-05-26T17:51:29Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Towards Streaming Egocentric Action Anticipation [23.9991007631236]
エゴセントリックなアクション予測は、カメラ装着者が過去のビデオ観察に基づいて実行するであろう未来のアクションを予測するタスクである。
現在の評価スキームは、予測をオフラインにできるので、計算資源は制限されないと仮定している。
本稿では,パフォーマンス評価のためのモデルランタイムを明示的に検討した,ストリーミングのエゴセントリックなアクション予測評価プロトコルを提案する。
論文 参考訳（メタデータ） (2021-10-11T16:22:56Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z) - Modeling Online Behavior in Recommender Systems: The Importance of
Temporal Context [30.894950420437926]
推薦システムの性能を評価するときの時間的文脈の省略が、いかに誤った自信をもたらすかを示す。
既存のモデルに時間的文脈をさらに埋め込むためのトレーニング手順を提案する。
その結果、時間的目標を含めれば、リコール@20を最大20%改善できることがわかった。
論文 参考訳（メタデータ） (2020-09-19T19:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。