論文の概要: TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate
- arxiv url: http://arxiv.org/abs/2605.13909v1
- Date: Wed, 13 May 2026 06:22:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.411274
- Title: TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate
- Title（参考訳）: TERMS-Bench: ディールレートを超えるLDMネゴシエーション剤の診断
- Authors: Erica Zhang, Fangzhao Zhang, Aneesh Pappu, Batu El, Jose Blanchet, Susan Athey, Jiashuo Liu, James Zou,
- Abstract要約: 交渉はエージェント言語モデルのための標準的なテストベッドである。
数学やコードとは異なり、本質的な検証がない。
本稿では,環境自体を検証対象とするベイズゲームフレームワークであるTerms-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 34.67393151003599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negotiation is a central mechanism of economic exchange, shaping markets, procurement, labor agreements, and resource allocation. It is also a canonical testbed for agentic language models, requiring multi-turn interaction under hidden preferences, strategic communication, and binding constraints. These properties make negotiation hard to evaluate: unlike math or code, it has no intrinsic verifier. Existing LLM negotiation evaluations rely on LLM-vs.-LLM interaction or aggregate outcomes such as deal rate, leaving failures opaque. We introduce Terms-Bench, short for Testbed for Economic Reasoning in Multi-turn Strategy, a Bayesian-game framework that makes the environment itself the verifier by specifying the counterpart's latent type, policy, and payoff structure. We instantiate it in bilateral price negotiation, where the counterpart's private state and simulator policy are hidden from the agent but observable to the evaluator. This turns the counterpart from a black-box opponent into a diagnostic instrument, enabling agent-attributable failure analysis and oracle-reference optimality gaps. Evaluating 13 LLM agents spanning frontier systems from major providers, Terms-Bench turns negotiation evaluation from aggregate ranking into actionable diagnosis: where agents fail, why they fail, and what to strengthen. Empirically, frontier models saturate deal rate yet diverge in surplus extraction, cue use, belief calibration, and compliance, revealing agent-specific bargaining bottlenecks masked by prior benchmarks.
- Abstract（参考訳）: 交渉は、経済交換、市場形成、調達、労働協定、資源配分の中心的なメカニズムである。
また、エージェント言語モデルのための標準的なテストベッドであり、隠れた好み、戦略的コミュニケーション、バインディング制約の下でのマルチターンインタラクションを必要とする。
これらの性質は、数学やコードとは異なり、本質的な検証子を持たないため、交渉を困難にしている。
既存のLLM交渉評価はLLM-vsに依存している。
-LLMインタラクションや取引率などの集約結果、障害は不透明である。
マルチターン戦略における経済的推論のためのテストベッド(Testbed for Economic Reasoning in Multi-turn Strategy)の略であるTerms-Benchを紹介した。
両立価格交渉において、相手のプライベートステートとシミュレータポリシーをエージェントから隠蔽するが、評価者には監視可能である。
これにより、相手をブラックボックスの相手から診断機器に変え、エージェント依存の障害分析とオラクル参照の最適性ギャップを可能にする。
主要なプロバイダからフロンティアシステムにまたがる13のLLMエージェントを評価するため、Terms-Benchは交渉評価を総合的なランキングから実行可能な診断へと転換した。
実証的に、フロンティアモデルは、余剰の抽出、キューの使用、信念のキャリブレーション、コンプライアンスにおいてまだ飽和するが、以前のベンチマークで隠されたエージェント固有のボトルネックを明らかにしている。
関連論文リスト
- ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Anchor-and-Resume Concession Under Dynamic Pricing for LLM-Augmented Freight Negotiation [5.225967186005105]
ライヴスプレッドから$を導出することで、適応が可能になるが、新しい問題が発生する: 価格変更によって、公式が以前のオファーを撤回し、モノトニック性に違反する可能性がある。
両制約に対処する2次元アンカー・アンド・レジュームフレームワークを提案する。
スプレッド由来の$$は、各負荷のマージン構造を正しい譲歩姿勢にマッピングする一方、アンカー・アンド・レジューム機構は、任意の価格シフトの下で単調に非減少するオファーを保証する。
論文 参考訳（メタデータ） (2026-04-22T16:17:07Z) - Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。
本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。
この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
論文 参考訳（メタデータ） (2026-04-10T03:04:20Z) - Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation [33.09732020656996]
ストックレコメンデーションのためのベンチマークであるConv-FinReを導入する。
我々は、実際の市場データと人間の意思決定軌跡からベンチマークを構築し、制御されたアドバイザリー会話をインスタンス化し、最先端のLCMのスイートを評価する。
その結果、合理的な意思決定品質と行動整合性の持続的な緊張が明らかとなった。
論文 参考訳（メタデータ） (2026-02-19T01:29:50Z) - AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions [49.49718899185783]
大規模言語モデル(LLM)ベースのエージェントは、自律的に交渉、コーディネート、トランザクショナル化がますます期待されている。
本稿では,自然言語によるマルチエージェント・バイヤー・セラー交渉のためのベンチマークおよびシミュレーションフレームワークであるAgenticPayを紹介する。
論文 参考訳（メタデータ） (2026-02-05T18:50:36Z) - PieArena: Frontier Language Agents Achieve MBA-Level Negotiation Performance and Reveal Novel Behavioral Differences [13.759960839511807]
マルチエージェントインタラクションを基盤とした大規模ベンチマークベンチマークであるPieArenaを紹介する。
代表的フロンティア言語エージェント(GPT-5)が、訓練されたビジネススクールの生徒と一致したり、成績が良くなった場合の、人間-専門家レベルのパフォーマンスの体系的証拠を見出した。
論文 参考訳（メタデータ） (2026-02-05T04:52:20Z) - From Sycophancy to Sensemaking: Premise Governance for Human-AI Decision Making [0.0]
低フリクションアシスタントはサイコファンになり、暗黙の仮定を叩き、検証コストを専門家に押し付ける。
我々は、信頼できる人間とAIのパートナーシップには、回答生成から共同前提ガバナンスへの移行が必要であると主張している。
論文 参考訳（メタデータ） (2026-02-02T17:42:54Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues [47.977032883078664]
我々は,ビジネス交渉における対話者を支援する大規模言語モデル(LLM)に基づく支援エージェントを開発する。
第3のLLMは、交渉結果を改善するための基準に違反した発話を書き換える仲介役として機能する。
3つの異なる交渉トピックにわたる交渉において,その効果を示すための実証的証拠を豊富に提供する。
論文 参考訳（メタデータ） (2024-01-29T09:07:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。