論文の概要: AutoRelAnnotator: Calibrated Model Cascades for Cost-Efficient Relevance Evaluation in Sponsored Search

• arxiv url: http://arxiv.org/abs/2606.25871v1
• Date: Wed, 24 Jun 2026 14:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.357044
• Title: AutoRelAnnotator: Calibrated Model Cascades for Cost-Efficient Relevance Evaluation in Sponsored Search
• Title（参考訳）: AutoRelAnnotator:スポンサー検索における費用効率の高い妥当性評価のためのキャリブレーションモデルカスケード
• Authors: Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee,
• Abstract要約: 本稿では,コスト効率のよいオフライン関連アノテーションに対する体系的アプローチを提案する。 ドメイン固有の微調整ドライブの精度、カスケードドライブのコスト、およびクラスごとの等速キャリブレーションは、上面に小さいが信頼できる利得をもたらす。 私たちの仕事は、検索と広告システムにおけるスケーラブルで高品質なオフラインアノテーションパイプラインのためのビルディングブロックです。
• 参考スコア（独自算出の注目度）: 5.818822979956035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we generate high-quality relevance annotations at scale without the cost and delays of human labeling? Relevance annotations are the backbone of search ranking systems which is needed for training data preparation, NDCG evaluation, and root cause analysis. However, human annotation is slow and off-the-shelf LLMs suffer from accuracy on domain-specific tasks. We propose a calibrated model cascade, a systematic approach for cost-efficient offline relevance annotation by routing queries through progressively larger fine-tuned classifiers. Our central insight is that accuracy and cost are orthogonal optimizations: domain-specific fine-tuning drives accuracy, cascading drives cost, and per-class isotonic calibration adds a small but reliable gain on top. Our contribution is threefold: (a) we decompose the gains and show that fine-tuning contributes 20 accuracy points while cascading is approximately accuracy-neutral but halves compute cost, (b) we introduce per-class isotonic calibration as one component of the cascade, contributing a small but statistically significant gain (+0.6 points over the strongest calibration baseline), and (c) we validate the system in production across six offline use cases, processing 150M+ annotations and enabling faster experimentation cycles. Our work is a building block for scalable, high-quality offline annotation pipelines in search and advertising systems.
• Abstract（参考訳）: 人間のラベル付けのコストや遅延を伴わずに、いかにして高品質な関連アノテーションを大規模に生成できるか? 関連アノテーションは、データ準備、NDCG評価、根本原因分析に必要な検索ランキングシステムのバックボーンである。 しかし、人間のアノテーションは遅く、既成のLCMはドメイン固有のタスクの正確さに悩まされている。 本稿では,より大規模な分類器を通じてクエリをルーティングすることで,コスト効率の高いオフライン関連アノテーションの体系的アプローチであるキャリブレーションモデルカスケードを提案する。 ドメイン固有の微調整ドライブの精度、カスケードドライブのコスト、およびクラスごとの等速キャリブレーションは、上面に小さいが信頼性の高い利得をもたらす。 私たちの貢献は3倍です。 (a)カスケーディングがほぼ精度ニュートラルだが計算コストは半減であるのに対して、微調整は20の精度ポイントに寄与することを示す。 (b) クラスごとの等速キャリブレーションをカスケードの1成分として導入し, 統計的に有意な増加(最強キャリブレーションベースライン以上+0.6ポイント)を達成した。 (c)6つのオフラインユースケースにまたがって本システムを本番環境で検証し,150M以上のアノテーションを処理し,より高速な実験サイクルを実現する。 私たちの仕事は、検索と広告システムにおけるスケーラブルで高品質なオフラインアノテーションパイプラインのためのビルディングブロックです。

関連論文リスト

• Closing the Calibration Gap in Semantic Caching [0.07456526005219319]
  PR-AUC が最も高いセマンティックキャッシングモデルが動作上で最悪の場合が多いことを示す。 キャッシュ利用レベルの精度を測定するキャッシュ対応指標であるP-CHR(Precision-Cache Hit Ratio)とRetention Rate(Retention Rate)を紹介する。 実験の結果, キャリブレーションギャップはデータスケールではなくトレーニング目標によって制御され, ポストホックキャリブレーションは部分的には閉じていることがわかった。
  論文  参考訳（メタデータ） (2026-06-18T02:34:33Z)
• Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning [30.70183055909553]
  経路解析における最初の体系的分類法を提案し,その信号源による分類法(内部対外部)と学習可能性(学習可能対非学習可能)を提案する。 この分類は、学習可能な内部メソッドの未探索の可能性を明らかにし、STOP(Super Token for Pruning)の提案を動機付けます。
  論文  参考訳（メタデータ） (2026-04-17T13:00:22Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• CaliCausalRank: Calibrated Multi-Objective Ad Ranking with Robust Counterfactual Utility Optimization [9.601427882648116]
  CaliCausalRankは、トレーニング時間スケールのキャリブレーション、制約ベースの多目的最適化、堅牢な対実的ユーティリティ推定を統合するフレームワークである。 提案手法は,ポストホック処理ではなく,第1級のトレーニング目標としてスコアキャリブレーションを扱い,制約満足度に対するラグランジアン緩和を採用し,信頼性の高いオフライン評価のための分散再現型反事実推定器を実現する。
  論文  参考訳（メタデータ） (2026-02-21T10:35:12Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Cascaded Classifier for Pareto-Optimal Accuracy-Cost Trade-Off Using off-the-Shelf ANNs [0.0]
  カスケード分類器の精度と効率を最大化する手法を導出する。 マルチステージ実現は、最先端の分類器を最適化するために利用できる。
  論文  参考訳（メタデータ） (2021-10-27T08:16:11Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。