論文の概要: LLMAdBench: A Human Preference Benchmark for Advertising in LLM Responses

• arxiv url: http://arxiv.org/abs/2609.32533v1
• Date: Sat, 26 Sep 2026 12:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:00:50.216488
• Title: LLMAdBench: A Human Preference Benchmark for Advertising in LLM Responses
• Title（参考訳）: LLMAdBench: LLMレスポンスの広告のための人間の選好ベンチマーク
• Abstract要約: LLMAdBench は LLM 生成コンテンツにおける広告の人為的参照ベンチマークである。 我々のデータセットは、他のすべての条件を固定しながら、広告位置でのみ異なるレスポンスのペアを比較します。 その結果得られたベンチマークには、2つの公開条件にわたる18万以上の人間の判断が含まれている。
• 参考スコア（独自算出の注目度）: 15.129418718069878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inserting advertisements (ads) into consumer-facing LLM output is emerging as a new business model, but there is little shared evidence on how such ad insertion should be evaluated or how it affects user preferences. We introduce LLMAdBench, a human-preference benchmark for studying advertising in LLM-generated content. The benchmark isolates a simple but practically important decision: given a user conversation, an LLM response, and a matched advertisement, where should the ad be placed? Our dataset compares pairs of responses that differ only in ad position while holding all other conditions fixed including the user query, base answer, advertisement, and disclosure condition. Human annotators evaluate each pair based on six criteria from both advertiser's and user's perspectives. The resulting benchmark contains more than 18000 human judgments across two disclosure conditions: explicitly labeling the ad as sponsored and merging it into the response without disclosure. We use LLMAdBench to evaluate eight frontier LLMs as preference judges and find that they are not reliable substitutes for human evaluation. Even the most stable models reverse roughly one quarter of their decisions when the presentation order is swapped, agreement across models is low, and their placement preferences differ systematically from those of human annotators. Moreover, LLMAdBench contains substantial learnable signal. In particular, a Qwen3-8B model fine-tuned on the human preferences improves substantially over its base model and outperforms all zero-shot frontier judges on the held-out prediction task. Beyond model evaluation, LLMAdBench provides quantitative evidence on the advertiser-user trade-off and shows that the sponsorship disclosure systematically changes users' preference over ad placement.
• Abstract（参考訳）: 消費者向けLCM出力に広告(広告)を挿入することは、新しいビジネスモデルとして現れつつあるが、そのような広告挿入がどのように評価されるべきか、それがユーザーの好みにどのように影響するかを示す証拠は、ほとんどない。 LLMAdBench は LLM 生成コンテンツにおける広告の人為的参照ベンチマークである。 ユーザ会話、LLM応答、マッチした広告が与えられたら、広告をどこに置けばいいのか? 我々のデータセットは、ユーザクエリ、ベース回答、広告、開示条件を含む全ての条件を保ちながら、広告位置でのみ異なるレスポンスのペアを比較した。 ヒトのアノテータは広告主の視点と利用者の視点の両方から6つの基準に基づいてそれぞれを評価する。 結果として得られたベンチマークには、2つの公開条件に関する18万以上の人間の判断が含まれており、広告をスポンサードとして明示的にラベル付けし、公開せずにレスポンスにマージする。 LLMAdBench を用いて 8 個のフロンティア LLM を選好審査員として評価し,人間の評価に信頼性のない代替品ではないことを確認する。 最も安定なモデルであっても、プレゼンテーションの順序が入れ替わると、決定の約4分の1が逆転し、モデル間の合意は低く、それらの配置の好みは人間のアノテータと体系的に異なる。 さらに、LLMAdBenchは学習可能な信号を含んでいる。 特に、人間の嗜好を微調整したQwen3-8Bモデルは、ベースモデルよりも大幅に改善され、ホールドアウト予測タスクにおいて全ゼロショットフロンティア裁判官より優れる。 モデル評価の他に、LLMAdBenchは広告主とユーザのトレードオフに関する定量的な証拠を提供し、スポンサーシップの開示が広告の配置よりもユーザの好みを体系的に変えることを示す。

関連論文リスト

• Your AI, On a Dial: Controlling Investment Bias in LLMs with a Single Neuron [76.4407829130164]
  モデル全体の投資姿勢が、特定の方向と強さに調整できるかどうかを検討する。 我々は、単一ニューロンに対する推測時間介入である投資バイアスダイヤルを導入する。 このダイヤルは、プロンプトやモデルパラメータを変更することなく、投資姿勢の単調な変化を生じさせる。
  論文  参考訳（メタデータ） (2026-08-24T06:33:02Z)
• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• NaiAD: Initiate Data-Driven Research for LLM Advertising [5.44847350955449]
  LLMネイティブ広告の最初の包括的データセットであるNaiADを紹介する。 NaiADは、ユーザと商用のユーティリティを別々に、包括的にキャプチャする理論的に根拠付けられた評価指標を中心に構成されている。 本稿では,Variance-Calibrated Prediction-Powered Inference (VC-PPI) フレームワークによって調整されたスコアラベルについて述べる。
  論文  参考訳（メタデータ） (2026-05-11T03:11:38Z)
• Personalized Benchmarking: Evaluating LLMs by Individual Preferences [16.446687355628566]
  現在のベンチマークでは、総合評価を計算するために、すべてのユーザーの平均的な嗜好が計算されている。 ユーザーは様々な状況で好みが変わるので、個人のニーズに応じてモデルをランク付けするパーソナライズされたベンチマークを要求します。 ELO評価とBradley-Terry係数を用いて115名のアクティブアリーナユーザを対象にパーソナライズされたモデルランキングを算出する。
  論文  参考訳（メタデータ） (2026-04-21T00:40:47Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Ads that Talk Back: Implications and Perceptions of Injecting Personalized Advertising into LLM Chatbots [15.907632070023702]
  企業は、大規模言語モデル(LLM)の収益化のための広告ベースの収益源を模索している。 本稿では,LLM広告を個人ユーザに対してパーソナライズすることの意味について検討する。 私たちは広告データセットとオープンソースのLLMであるPhi-4-Adsを作成しました。
  論文  参考訳（メタデータ） (2024-09-23T18:02:09Z)
• CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System [16.84754752395103]
  本研究は,Large Language Model (LLM) ベースのレコメンデータシステムにおける公平性評価に関する過去の研究に批判的な立場を取る。 CFaiRLLMは、真の嗜好アライメントを組み込むだけでなく、交叉フェアネスを厳格に検証する拡張評価フレームワークである。 CFaiRLLMの有効性を検証するため,MovieLensとLastFMを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-03-08T20:44:59Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。