論文の概要: TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate
- arxiv url: http://arxiv.org/abs/2605.13909v1
- Date: Wed, 13 May 2026 06:22:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.411274
- Title: TERMS-Bench: Diagnosing LLM Negotiation Agents Beyond Deal Rate
- Title（参考訳）: TERMS-Bench: ディールレートを超えるLDMネゴシエーション剤の診断
- Abstract要約: 交渉はエージェント言語モデルのための標準的なテストベッドである。
数学やコードとは異なり、本質的な検証がない。
本稿では,環境自体を検証対象とするベイズゲームフレームワークであるTerms-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 34.67393151003599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negotiation is a central mechanism of economic exchange, shaping markets, procurement, labor agreements, and resource allocation. It is also a canonical testbed for agentic language models, requiring multi-turn interaction under hidden preferences, strategic communication, and binding constraints. These properties make negotiation hard to evaluate: unlike math or code, it has no intrinsic verifier. Existing LLM negotiation evaluations rely on LLM-vs.-LLM interaction or aggregate outcomes such as deal rate, leaving failures opaque. We introduce Terms-Bench, short for Testbed for Economic Reasoning in Multi-turn Strategy, a Bayesian-game framework that makes the environment itself the verifier by specifying the counterpart's latent type, policy, and payoff structure. We instantiate it in bilateral price negotiation, where the counterpart's private state and simulator policy are hidden from the agent but observable to the evaluator. This turns the counterpart from a black-box opponent into a diagnostic instrument, enabling agent-attributable failure analysis and oracle-reference optimality gaps. Evaluating 13 LLM agents spanning frontier systems from major providers, Terms-Bench turns negotiation evaluation from aggregate ranking into actionable diagnosis: where agents fail, why they fail, and what to strengthen. Empirically, frontier models saturate deal rate yet diverge in surplus extraction, cue use, belief calibration, and compliance, revealing agent-specific bargaining bottlenecks masked by prior benchmarks.
- Abstract（参考訳）: 交渉は、経済交換、市場形成、調達、労働協定、資源配分の中心的なメカニズムである。
また、エージェント言語モデルのための標準的なテストベッドであり、隠れた好み、戦略的コミュニケーション、バインディング制約の下でのマルチターンインタラクションを必要とする。
これらの性質は、数学やコードとは異なり、本質的な検証子を持たないため、交渉を困難にしている。
既存のLLM交渉評価はLLM-vsに依存している。
-LLMインタラクションや取引率などの集約結果、障害は不透明である。
マルチターン戦略における経済的推論のためのテストベッド(Testbed for Economic Reasoning in Multi-turn Strategy)の略であるTerms-Benchを紹介した。
両立価格交渉において、相手のプライベートステートとシミュレータポリシーをエージェントから隠蔽するが、評価者には監視可能である。
これにより、相手をブラックボックスの相手から診断機器に変え、エージェント依存の障害分析とオラクル参照の最適性ギャップを可能にする。
主要なプロバイダからフロンティアシステムにまたがる13のLLMエージェントを評価するため、Terms-Benchは交渉評価を総合的なランキングから実行可能な診断へと転換した。
実証的に、フロンティアモデルは、余剰の抽出、キューの使用、信念のキャリブレーション、コンプライアンスにおいてまだ飽和するが、以前のベンチマークで隠されたエージェント固有のボトルネックを明らかにしている。
関連論文リスト
- Loom: Weaving Diagnostic Strands into Free-Text Consensus via Embedding-Space Reweighting [0.0]
実世界の根本原因分析(RCA)のためにデプロイされた生成的コンセンサスフレームワークであるLoomについて紹介する。
ルームがモジュラー$sで出力されるオープンフォーム仮説を連続的な埋め込み空間に投影し、繰り返しセントロイドに基づく再重み付けアルゴリズムで競合する信号を解決する方法を示す。
我々は,エージェント深度と推論遅延のトレードオフ,冗長性検出の負の結果,および決定論的コンセンサスが対象事項専門家の信頼をいかに促進させるかについて,我々の展開経験について議論した。
論文 参考訳（メタデータ） (2026-09-02T14:24:32Z) - CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents [0.9924185669370708]
CLQTはクローズドループ取引の評価をランキングではなく診断として再設定する。
CLQTは、完全にクローズドループで、コストを意識し、戦略に一貫性があり、時間的に制限された環境である。
論文 参考訳（メタデータ） (2026-06-29T04:26:30Z) - SidConArena: An Environment Evaluating Agents in Open-Ended,Positive-Sum Bargaining Game [21.27775046269771]
SidConArenaは、オープンエンドのポジティブサムバーゲティングにおいてLLMエージェントを評価するための新しいベンチマークフレームワークである。
SidConArenaは、3つの結合位相を持つ有限水平部分観測可能なゲームとしてマルチプレイヤー経済を定式化する。
より強力なフロンティアモデルは高い経済効果を達成するが、エージェントは依然として不適切な資源を保有し、受動的に取引し、長期投資計画において制限される。
論文 参考訳（メタデータ） (2026-06-24T10:35:31Z) - Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Anchor-and-Resume Concession Under Dynamic Pricing for LLM-Augmented Freight Negotiation [5.225967186005105]
ライヴスプレッドから$を導出することで、適応が可能になるが、新しい問題が発生する: 価格変更によって、公式が以前のオファーを撤回し、モノトニック性に違反する可能性がある。
両制約に対処する2次元アンカー・アンド・レジュームフレームワークを提案する。
スプレッド由来の$$は、各負荷のマージン構造を正しい譲歩姿勢にマッピングする一方、アンカー・アンド・レジューム機構は、任意の価格シフトの下で単調に非減少するオファーを保証する。
論文 参考訳（メタデータ） (2026-04-22T16:17:07Z) - Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。
本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。
この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
論文 参考訳（メタデータ） (2026-04-10T03:04:20Z) - Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation [33.09732020656996]
ストックレコメンデーションのためのベンチマークであるConv-FinReを導入する。
我々は、実際の市場データと人間の意思決定軌跡からベンチマークを構築し、制御されたアドバイザリー会話をインスタンス化し、最先端のLCMのスイートを評価する。
その結果、合理的な意思決定品質と行動整合性の持続的な緊張が明らかとなった。
論文 参考訳（メタデータ） (2026-02-19T01:29:50Z) - AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions [49.49718899185783]
大規模言語モデル(LLM)ベースのエージェントは、自律的に交渉、コーディネート、トランザクショナル化がますます期待されている。
本稿では,自然言語によるマルチエージェント・バイヤー・セラー交渉のためのベンチマークおよびシミュレーションフレームワークであるAgenticPayを紹介する。
論文 参考訳（メタデータ） (2026-02-05T18:50:36Z) - PieArena: Frontier Language Agents Achieve MBA-Level Negotiation Performance and Reveal Novel Behavioral Differences [13.759960839511807]
マルチエージェントインタラクションを基盤とした大規模ベンチマークベンチマークであるPieArenaを紹介する。
代表的フロンティア言語エージェント(GPT-5)が、訓練されたビジネススクールの生徒と一致したり、成績が良くなった場合の、人間-専門家レベルのパフォーマンスの体系的証拠を見出した。
論文 参考訳（メタデータ） (2026-02-05T04:52:20Z) - From Sycophancy to Sensemaking: Premise Governance for Human-AI Decision Making [0.0]
低フリクションアシスタントはサイコファンになり、暗黙の仮定を叩き、検証コストを専門家に押し付ける。
我々は、信頼できる人間とAIのパートナーシップには、回答生成から共同前提ガバナンスへの移行が必要であると主張している。
論文 参考訳（メタデータ） (2026-02-02T17:42:54Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - EmoDebt: Bayesian-Optimized Emotional Intelligence for Strategic Agent-to-Agent Debt Recovery [65.30120701878582]
大規模言語モデル(LLM)エージェントは、負債収集のような感情に敏感なドメインの悪用に対して脆弱である。
EmoDebtは、ネゴシエーションにおける感情を表現するモデルの能力を、シーケンシャルな意思決定問題として再設計する感情インテリジェンスエンジンである。
EmoDebtは重要な戦略的堅牢性を実現し、非適応性と感情に依存しないベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-03-27T01:41:34Z) - Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues [47.977032883078664]
我々は,ビジネス交渉における対話者を支援する大規模言語モデル(LLM)に基づく支援エージェントを開発する。
第3のLLMは、交渉結果を改善するための基準に違反した発話を書き換える仲介役として機能する。
3つの異なる交渉トピックにわたる交渉において,その効果を示すための実証的証拠を豊富に提供する。
論文 参考訳（メタデータ） (2024-01-29T09:07:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。