論文の概要: Strategic Bargaining in Multi-Buyer Markets: Reinforcement Learning from Verifiable Rewards for LLM Negotiations
- arxiv url: http://arxiv.org/abs/2607.05863v1
- Date: Tue, 07 Jul 2026 05:41:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.405746
- Title: Strategic Bargaining in Multi-Buyer Markets: Reinforcement Learning from Verifiable Rewards for LLM Negotiations
- Title（参考訳）: マルチバイヤー市場における戦略的買収--LLM交渉のための検証可能なリワードからの強化学習
- Abstract要約: 交渉は経営科学における基本的な戦略的相互作用である。
本稿では,検証リワードからの強化学習を用いた特化学習法を提案する。
- 参考スコア（独自算出の注目度）: 22.41117839056233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Negotiation is a fundamental strategic interaction in management science, characterized by agents attempting to reach agreements while protecting private information, such as reservation costs and hidden valuations. A prevalent yet complex scenario involves a single seller negotiating concurrently with multiple buyers, each possessing heterogeneous, private budgets. In such settings, constrained by a limited number of communication turns, the seller must balance exploring the broader market to discover the highest valuation with concentrating sufficient turns on a single target buyer to secure the best possible outcome. Our analysis reveals a significant gap in standard Large Language Models (LLMs): while these models are linguistically proficient, they fail to act as effective economic decision-makers. Specifically, they exhibit a failure to explore the buyer pool, often fixating on the current highest bid rather than strategically investigating the market to discover latent high valuations. In this paper, we propose a specialized training recipe using Reinforcement Learning from Verifiable Rewards (RLVR). By anchoring the reward function to objective economic outcomes, the strategic balance between market discovery and surplus extraction emerges natively through the learning process. Our results demonstrate that the trained seller undergoes a multi-stage strategic evolution, learning to leverage price anchoring and strategic probing to identify more profitable counterparties. The agent extracts a substantially higher surplus than frontier models by both improving its persuasive bargaining skills and consistently closing deals with high-value buyers. Finally, we show that our seller strategies generalize robustly to unseen buyer negotiation styles and budget distributions.
- Abstract（参考訳）: 交渉は経営科学における基本的な戦略的相互作用であり、保留費や隠れた評価額などの個人情報を保護しながら合意に達しようとするエージェントが特徴である。
一般的だが複雑なシナリオでは、1つの売り手が複数の買い手と同時に交渉し、それぞれが異質でプライベートな予算を持っている。
このような設定では、限られた数の通信ターンによって制限されるため、売り手は、最も高い価値を見出すためにより広い市場を探索し、最高の結果を確保するために、単一のターゲットバイヤーに十分なターンを集中させなければならない。
これらのモデルは言語的に熟練しているが、効果的な経済意思決定者としては機能しない。
特に、彼らは買い手プールの探索に失敗し、しばしば市場を戦略的に調査して潜伏する高い評価を見出すよりも、現在の最高入札に固執している。
本稿では,Reinforcement Learning from Verifiable Rewards (RLVR) を用いた特別なトレーニングレシピを提案する。
利益関数を客観的な経済成果に固定することにより、市場発見と余剰抽出の戦略的バランスが学習プロセスを通じて自然に現れる。
我々の結果は、トレーニングされた売り手が多段階の戦略的進化を経験し、価格アンカーと戦略的調査を活用して、より利益率の高い売り手を特定することを実証している。
このエージェントは、説得力のあるバーゲティングスキルを改善し、高価値バイヤーとの取引を一貫して閉鎖することで、フロンティアモデルよりもかなり高い余剰量を抽出する。
最後に、売り手戦略が、未確認の買い手交渉スタイルや予算配分にしっかりと一般化していることを示します。
関連論文リスト
- Business Arena: Benchmarking LLM Agents in a Realistic Marketplace [14.641921772947926]
Business Arenaは、AIエージェントが国境を越えた店を経営し、サプライヤーから購入し、長期にわたって購入者に販売する管理環境である。
15のフロンティアモデルを評価し,9倍の差が得られた。
最高のモデルでさえ、人間設計の戦略に遅れをとっており、LLMエージェントにとってビジネス運用は依然として困難であることを示している。
論文 参考訳（メタデータ） (2026-08-09T10:08:21Z) - Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - Instructing LLMs to Negotiate using Reinforcement Learning with Verifiable Rewards [45.56436052535799]
検証可能なリワードからの強化学習が,大規模言語モデルに交渉を効果的に教えることができるかを検討する。
我々は,中規模の買い手エージェントを,現実の商品を幅広く流通させた規制された売り手に対して訓練する枠組みを導入する。
以上の結果から,30Bエージェントは,余剰量を抽出する際の10倍のフロンティアモデルを大幅に上回る結果が得られた。
論文 参考訳（メタデータ） (2026-04-10T19:35:39Z) - Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。
本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。
この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
論文 参考訳（メタデータ） (2026-04-10T03:04:20Z) - ChatShopBuddy: Towards Reliable Conversational Shopping Agents via Reinforcement Learning [88.87305027895657]
本研究では,現実シナリオにおけるショッピングエージェントの強化学習に基づく最適化について検討する。
エージェントは、客観的指標(生産的正確性)、主観的品質(説得性)、成果報酬(最終応答品質)、プロセス報酬(ツール効率)にまたがる複数の相互依存目標を同時に満たさなければならない。
実験の結果、我々のRL学習エージェントであるChatShopBuddyは、一般的な推論に依存する大きなモデルよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-03-06T09:18:51Z) - PieArena: Frontier Language Agents Achieve MBA-Level Negotiation Performance and Reveal Novel Behavioral Differences [13.759960839511807]
マルチエージェントインタラクションを基盤とした大規模ベンチマークベンチマークであるPieArenaを紹介する。
代表的フロンティア言語エージェント(GPT-5)が、訓練されたビジネススクールの生徒と一致したり、成績が良くなった場合の、人間-専門家レベルのパフォーマンスの体系的証拠を見出した。
論文 参考訳（メタデータ） (2026-02-05T04:52:20Z) - The Invisible Handshake: Tacit Collusion between Adaptive Market Agents [16.94262518248427]
本研究では,内因性価格形成を伴う市場における適応取引業者間の暗黙の共謀の出現について検討する。
エージェントが自身の富を最大化するために単純な学習アルゴリズムに従うと、結果として得られるダイナミクスは合理的戦略プロファイルに収束する。
論文 参考訳（メタデータ） (2025-10-14T08:28:33Z) - Learning to Lead: Incentivizing Strategic Agents in the Dark [50.93875404941184]
一般化プリンシパルエージェントモデルのオンライン学習バージョンについて検討する。
この挑戦的な設定のための最初の証明可能なサンプル効率アルゴリズムを開発した。
我々は、プリンシパルの最適ポリシーを学ぶために、ほぼ最適な $tildeO(sqrtT) $ regret bound を確立する。
論文 参考訳（メタデータ） (2025-06-10T04:25:04Z) - Agents Require Metacognitive and Strategic Reasoning to Succeed in the Coming Labor Markets [53.0367886783772]
労働市場は、不適切な選択、モラルハザード、評判の経済力に影響を受けている。
エージェントはメタ認知的および戦略的推論を使用して効果的に実行する必要がある。
論文 参考訳（メタデータ） (2025-05-26T15:22:04Z) - Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market [58.720142291102135]
本稿では,エージェント・ベースの観点から,これらのマーケット・メーカーの戦略に関する研究に焦点をあてる。
模擬株式市場における知的市場マーカー作成のための強化学習(Reinforcement Learning, RL)の適用を提案する。
論文 参考訳（メタデータ） (2021-12-08T14:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。