論文の概要: PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents

• arxiv url: http://arxiv.org/abs/2609.31468v1
• Date: Fri, 25 Sep 2026 16:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.486263
• Title: PriceBench: A Diagnostic Benchmark for Price, Quality, and Brand Preferences in LLM Booking Agents
• Title（参考訳）: PriceBench: LLM予約エージェントの価格、品質、ブランド優先の診断ベンチマーク
• Abstract要約: LLMはますます購入エージェントとして機能し、LLMはユーザではなく、要求を満たすオプションの中から選択される。 我々は,LLMの価格,品質,ブランドの嗜好を予約選択から回復する診断ベンチマークであるPriceBenchを紹介する。 能力は、LLMがどのようなものを選ぶかではなく、いかにしてLLMが選ぶかに関係している、ということに気付きました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs increasingly act as purchasing agents, which makes the LLM, not the user, the one choosing among the options that satisfy a request; its preferences quietly fix what gets bought and what it costs. Hotel booking is a clean instance: a high-volume choice settled on a few comparable attributes, where the pick reveals those preferences. We introduce PriceBench, a diagnostic benchmark that recovers an LLM's price, quality, and brand preferences from its booking choices with a logit choice model, applied to 28 LLMs from 8 providers on 3,600 hotel tasks from 179 real New York City properties. We find that capability is associated with how consistently an LLM chooses, not with what it chooses: more capable LLMs hold stronger, more consistent preferences, while weaker ones either lock onto one position, exploitable by whoever controls listing order, or choose almost indifferently. What those preferences favor varies sharply across providers and even within one family: price sensitivity spans more than an order of magnitude, and the price/quality trade-off moves mean booked nightly price from \$247 to \$393 on identical tasks. What an agent buys must therefore be measured per LLM, not inferred, and we release the tasks, code, and all 28 response sets.
• Abstract（参考訳）: LLMはますます購入エージェントとして機能し、LLMはユーザではなく、要求を満たすオプションの中から選択される。 ホテルの予約はクリーンな例で、数種類の類似属性を大容量で選択する。 我々は,LLMの価格,品質,ブランドの嗜好を,ロジット選択モデルを用いて予約選択から回復する診断ベンチマークであるPriceBenchを紹介した。 より有能なLLMはより強く、より一貫した選好を持ち、より弱いものは1つの位置にロックインし、リストアップの順序を制御する人によって悪用されるか、ほとんど無関心に選択される。 価格の感度は桁違いに広がり、価格と品質のトレードオフは、同一のタスクで夜間に予約された価格が247ドルから393ドルになることを意味している。 したがって、エージェントが購入するものは、推論ではなく、LLM毎に測定され、タスク、コード、28のレスポンスセットをすべて解放する必要があります。

関連論文リスト

• ReDAct: Uncertainty-Aware Deferral for LLM Agents [61.507376922278894]
  本稿では、逐次意思決定問題を解決するためにReDAct(Reason-Defer-Act)を提案する。 ReDActでは、エージェントは2つのLSMを備えている: デフォルトで使用される小型で安価なモデルと、大きくて信頼性が高くて高価なモデルである。 提案手法では,大モデルに対する決定の約15%のみを遅延させることで,推論コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-08T12:51:01Z)
• MixLLM: Dynamic Routing in Mixed Large Language Models [57.309520357563215]
  大規模言語モデル(LLM)は、最近、人工知能の可能性を秘めている。 問合せ-LLM代入のための動的コンテキスト帯域ベースのルーティングシステムであるMixLLMを開発した。
  論文  参考訳（メタデータ） (2025-02-09T02:26:15Z)
• MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [20.793892860721712]
  MetaLLMは,各クエリを最適大言語モデル(LLM)に動的かつインテリジェントにルーティングするフレームワークである。 多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。 OpenAI や Together AI などの一般的な LLM プラットフォーム上で実施した実験では,現実世界のシナリオにおいて MetaLLM の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-15T15:45:07Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• Efficient Contextual LLM Cascades through Budget-Constrained Policy Learning [31.972053219549757]
  TREACLEは、ユーザの金銭的コストとレイテンシの制約を尊重しながら、モデルとプロンプトスキームを共同で選択する強化学習ポリシーである。 評価の結果,TREACLEはベースラインに比べて最大85%のコスト削減が可能であり,精度は高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T05:56:49Z)
• How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
  GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。 以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。