論文の概要: Evaluating and Pricing Advertisements in AI-Generated Responses
- arxiv url: http://arxiv.org/abs/2607.27686v1
- Date: Thu, 30 Jul 2026 05:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.400666
- Title: Evaluating and Pricing Advertisements in AI-Generated Responses
- Title(参考訳): AI生成応答の評価と価格設定
- Abstract要約: 主な課題は、クリックスルーインテント、行動ログが利用できないこと、人間のアノテーションが校正に抵抗すること、フロンティアのLLM判事がインテントを言語的な流布と説明することである。
心理学的基盤を持つエージェント・シミュレーション・フレームワークを用いて、欠落した監視を構築、クリックスルー意図を予測するパラメータ効率評価器に分解し、スムーズで微分可能な見積もりとして、広告品質の3つの相補的な次元と合わせて構成する。
我々は価格層を直接構築し、真理入札が最適であるユニークな支払いルールを導出し、それを最高のk割当で示し、そのメカニズムを非モノトン割当に拡張する。
- 参考スコア(独自算出の注目度): 5.675676304782969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As search increasingly shifts toward LLM-driven answer engines, advertising is becoming embedded within the generated response itself and should therefore be evaluated for both user utility and commercial value. The key challenge is click-through intent: behavioural logs are unavailable, human annotation resists calibration, and frontier LLM judges conflate intent with linguistic fluency. These gaps compound, as principled pricing presupposes a continuous intent signal, while generating such a signal presupposes supervision that is currently unavailable. We construct the missing supervision through a psychologically grounded agent simulation framework, and distil it into a parameter-efficient evaluator that predicts click-through intent, together with the three companion dimensions of ad quality, as smooth, differentiable estimates. Validated through sign-certain behavioural perturbations, the evaluator surpasses frontier zero-shot judges on relevance sensitivity (79% versus 60-67%), tracks graded content degradation, generalises without error to 103 fictional products, and agrees with human preference in 86% of pairwise judgements across five annotators, with agreement rising in the evaluator's confidence. Upon its estimates we build the pricing layer directly, deriving the unique payment rule under which truthful bidding is optimal, demonstrating it on a best-of-k allocation, and extending the mechanism to non-monotone allocations. The same differentiable signal stands ready as a training objective for ad generation.
- Abstract(参考訳): 検索がLLM駆動の回答エンジンへとシフトするにつれて、広告は生成した応答自体に埋め込まれるようになり、ユーザの有用性と商業的価値の両方で評価されるべきである。
主な課題はクリックスルーインテント – 動作ログが利用できないこと、人間のアノテーションが校正に抵抗すること、フロンティアのLLM判事がインテントを言語流用と説明することである。
これらのギャップは、原則的な価格設定が継続的意図シグナルを前提としつつ、そのような信号を生成することは、現在利用できない監督を前提としています。
心理学的基盤を持つエージェント・シミュレーション・フレームワークを用いて、欠落した監視を構築、クリックスルーインテントを予測するパラメータ効率評価器に、スムーズで微分可能な見積もりとして、広告品質の3つの相補的な次元と共に組み込む。
識別された行動の摂動によって検証され、評価者は、関連感度に関するフロンティアゼロショットの判断(79%対60-67%)を超越し、格付けされた内容の劣化を追跡し、103の架空の製品に誤りのない一般化を行い、5つのアノテータ間のペアワイドな判断の86%で人間の嗜好に同意し、評価者の自信は上昇する。
見積時に価格層を直接構築し、真正な入札が最適であるユニークな支払いルールを導出し、それを最高のK割当で示し、メカニズムを非モノトン割当に拡張します。
同じ差別化可能な信号は、広告生成のトレーニング目標として準備されている。
関連論文リスト
- CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。
IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
論文 参考訳(メタデータ) (2026-09-09T06:08:02Z) - Rolling With Resistance: Preference-Optimized LLM Counselors Can Trade Goal Persistence for Relational Attunement in Motivational Interviewing [0.6372261626436676]
モチベーション・インタヴュー(MI)では、クライアントの持続的なトーク(現状に関する議論)が、カウンセラーに抵抗を伴って展開するよう呼びかけるが、これは2つの方法で失敗する可能性がある。
モチベーション型面接処理統合 (MITI) コード, ゴールパーシスタンス (GP) およびアテンション (RA) のカウンセラー応答の2軸評価を導入する。
優先最適化によって1つの障害を罰することは、転がり抵抗の反作用を引き起こすかどうかを問う。
論文 参考訳(メタデータ) (2026-07-30T20:16:03Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳(メタデータ) (2026-06-26T17:59:15Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳(メタデータ) (2026-06-09T17:16:03Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳(メタデータ) (2026-06-07T13:34:55Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳(メタデータ) (2026-05-07T06:31:34Z) - Are we still able to recognize pearls? Machine-driven peer review and the risk to creativity: An explainable RAG-XAI detection framework with markers extraction [7.723181091241251]
本稿では、レビュー品質を評価し、自動パターンを検出するための説明可能なフレームワーク(RAG-XAI)を提案する。
XGBoost、Random Forest、LightGBMは99.61%、AUC-ROCは0.999以上、F1スコアは0.9925である。
論文 参考訳(メタデータ) (2026-04-09T08:25:49Z) - Reviewing the Reviewer: Graph-Enhanced LLMs for E-commerce Appeal Adjudication [0.7136933021609076]
本稿では,手術場における幻覚を抑える適応推論のための最小限の表現を提案する。
我々は,新たな事例に対するトップダウン推論を行う,競合対応のグラフ推論フレームワークを開発した。
大規模電子商取引業者の控訴判決における枠組みを評価する。
論文 参考訳(メタデータ) (2026-02-27T00:43:59Z) - Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。
我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。
我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文 参考訳(メタデータ) (2026-02-04T15:24:52Z) - Ad Insertion in LLM-Generated Responses [16.434649348378706]
2つの切り離し戦略を通じて緊張を解消する実践的な枠組みを提案する。
まず、広告挿入と応答生成を分離し、安全性と明示的な開示を確保する。
次に、ジャンル'(ハイレベルなセマンティッククラスタ)をプロキシとして使用することで、特定のユーザクエリから入札を分離する。
論文 参考訳(メタデータ) (2026-01-27T10:16:03Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - A Confidence-Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks [0.0]
信頼性の多様性の校正は、アクセス可能なコーディングタスクの品質評価フレームワークである。
8つの最先端のLCMから5,680のコーディング決定を分析すると、自信はモデル間の合意を密接に追跡する。
論文 参考訳(メタデータ) (2025-08-04T03:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。