論文の概要: Measuring Bargaining Abilities of LLMs: A Benchmark and A Buyer-Enhancement Method

• arxiv url: http://arxiv.org/abs/2402.15813v1
• Date: Sat, 24 Feb 2024 13:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 16:53:15.273382
• Title: Measuring Bargaining Abilities of LLMs: A Benchmark and A Buyer-Enhancement Method
• Title（参考訳）: LLMの採算能力の測定:ベンチマークと買い手エンハンスメント手法
• Authors: Tian Xia, Zhiwei He, Tong Ren, Yibo Miao, Zhuosheng Zhang, Yang Yang, Rui Wang
• Abstract要約: 本稿では,Bargainingタスクを非対称な不完全情報ゲームとして記述する。 これにより、Bargainタスクにおけるエージェントのパフォーマンスを定量的に評価することができます。 本稿では,OG-Narratorと呼ばれる新手法を提案する。
• 参考スコア（独自算出の注目度）: 18.260813141278447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bargaining is an important and unique part of negotiation between humans. As LLM-driven agents learn to negotiate and act like real humans, how to evaluate agents' bargaining abilities remains an open problem. For the first time, we formally described the Bargaining task as an asymmetric incomplete information game, defining the gains of the Buyer and Seller in multiple bargaining processes. It allows us to quantitatively assess an agent's performance in the Bargain task. We collected a real product price dataset, AmazonHistoryPrice, and conducted evaluations of various LLM agents' bargaining abilities. We find that playing a Buyer is much harder than a Seller, and increasing model size can not effectively improve the Buyer's performance. To address the challenge, we propose a novel approach called OG-Narrator that integrates a deterministic Offer Generator to control the price range of Buyer's offers, and an LLM Narrator to create natural language sentences for generated offers. Experimental results show that OG-Narrator improves the buyer's deal rates from 26.67% to 88.88% and brings a ten times of multiplication of profits on all baselines, even a model that has not been aligned.
• Abstract（参考訳）: 交渉は人間同士の交渉において重要かつ独特な部分である。 LLM主導のエージェントは、実際の人間のように交渉し行動することを学ぶため、エージェントの交渉能力を評価する方法が未解決の問題である。 取引業務を非対称不完全情報ゲームとして、複数の交渉プロセスにおいて買い手と売り手の利益を定義することを初めて正式に記述した。 これにより,取引作業におけるエージェントのパフォーマンスを定量的に評価することができる。 実際の製品価格データセットであるAmazonHistoryPriceを収集し、さまざまなLLMエージェントのバリ取り能力の評価を行った。 買い手の遊びは売り手よりもずっと難しく,モデルサイズの増加は買い手のパフォーマンスを効果的に改善できないことがわかった。 そこで本研究では,提案する提案の価格範囲を制御するための決定論的オファージェネレータと,生成した提案に対する自然言語文を生成するLLMナレーターを組み合わせた,OG-Narratorという新しいアプローチを提案する。 実験の結果、OG-Narratorは購入者の取引レートを26.67%から88.88%に改善し、整列していないモデルであっても、すべてのベースラインに10倍の利益をもたらすことが示された。

関連論文リスト

• Algorithmic Collusion by Large Language Models [0.08192907805418582]
  我々は,Large Language Models (LLMs) と GPT-4 に基づくアルゴリズムによる価格設定実験を行った。 LLM ベースのエージェントは価格設定に長けており、(2) LLM ベースの価格設定エージェントは、消費者の負担を軽減し、(3) LLM 命令における一見無害なフレーズの変化は、共謀を増大させる可能性がある。 この結果から,アルゴリズム価格に関する反トラスト規制の必要性を浮き彫りにし,LSMベースの価格設定エージェントに特有の規制課題を明らかにした。
  論文  参考訳（メタデータ） (2024-03-31T21:43:05Z)
• How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis [50.15061156253347]
  人間は自動車の価格から共通の資源の共有方法まで、あらゆることを交渉する。 大規模言語モデル(LLM)を人間の代理エージェントとして使うことへの関心が急速に高まっているため、そのようなLLMエージェントも交渉できる必要がある。 我々は,LLMエージェントの交渉能力を評価し,検証するためのフレキシブルなフレームワークであるNegotiationArenaを開発した。
  論文  参考訳（メタデータ） (2024-02-08T17:51:48Z)
• Assistive Large Language Model Agents for Socially-Aware Negotiation Dialogues [47.977032883078664]
  我々はLarge Language Models(LLM)に基づく支援エージェントを開発する。 2つのLLMエージェントをロールプレイに参加させることで、ビジネス交渉をシミュレートする。 第3のLLMは、交渉結果を改善するための基準に違反した発話を書き換える仲介役として機能する。
  論文  参考訳（メタデータ） (2024-01-29T09:07:40Z)
• Salespeople vs SalesBot: Exploring the Role of Educational Value in Conversational Recommender Systems [78.84530426424838]
  既存の会話レコメンデータシステムは、ユーザのバックグラウンド知識の欠如をよく見落とし、好みの収集にのみ焦点をあてる。 このようなシステムのシミュレーションと評価を容易にするフレームワークであるSalesOpsを紹介する。 私たちは、フレームワークの両側をシミュレートできるLLMベースのエージェントであるSalesBotとShopperBotを構築しています。
  論文  参考訳（メタデータ） (2023-10-26T19:44:06Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Learning Multi-Agent Intention-Aware Communication for Optimal Multi-Order Execution in Finance [96.73189436721465]
  まず,現実的な制約を考慮したマルチオーダー実行のためのマルチエージェントRL(MARL)手法を提案する。 本稿では,学習可能なマルチラウンド通信プロトコルを提案する。 2つの実世界の市場のデータに関する実験では、優れたパフォーマンスを示し、コラボレーションの有効性が著しく向上した。
  論文  参考訳（メタデータ） (2023-07-06T16:45:40Z)
• Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback [97.54519989641388]
  交渉ゲームにおいて,複数大言語モデル(LLM)が,遊び,振り返り,批判によって自律的に互いに改善できるかどうかを検討する。 私たちが考慮している言語モデルのサブセットだけが、AIフィードバックから自己プレイし、取引価格を改善することができます。
  論文  参考訳（メタデータ） (2023-05-17T11:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。