論文の概要: How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis
- arxiv url: http://arxiv.org/abs/2402.05863v1
- Date: Thu, 8 Feb 2024 17:51:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 13:51:40.223374
- Title: How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis
- Title(参考訳): LLMはどのように交渉できるのか?
NegotiationArenaプラットフォームと解析
- Authors: Federico Bianchi, Patrick John Chia, Mert Yuksekgonul, Jacopo
Tagliabue, Dan Jurafsky, James Zou
- Abstract要約: 人間は自動車の価格から共通の資源の共有方法まで、あらゆることを交渉する。
大規模言語モデル(LLM)を人間の代理エージェントとして使うことへの関心が急速に高まっているため、そのようなLLMエージェントも交渉できる必要がある。
我々は,LLMエージェントの交渉能力を評価し,検証するためのフレキシブルなフレームワークであるNegotiationArenaを開発した。
- 参考スコア(独自算出の注目度): 50.15061156253347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Negotiation is the basis of social interactions; humans negotiate everything
from the price of cars to how to share common resources. With rapidly growing
interest in using large language models (LLMs) to act as agents on behalf of
human users, such LLM agents would also need to be able to negotiate. In this
paper, we study how well LLMs can negotiate with each other. We develop
NegotiationArena: a flexible framework for evaluating and probing the
negotiation abilities of LLM agents. We implemented three types of scenarios in
NegotiationArena to assess LLM's behaviors in allocating shared resources
(ultimatum games), aggregate resources (trading games) and buy/sell goods
(price negotiations). Each scenario allows for multiple turns of flexible
dialogues between LLM agents to allow for more complex negotiations.
Interestingly, LLM agents can significantly boost their negotiation outcomes by
employing certain behavioral tactics. For example, by pretending to be desolate
and desperate, LLMs can improve their payoffs by 20\% when negotiating against
the standard GPT-4. We also quantify irrational negotiation behaviors exhibited
by the LLM agents, many of which also appear in humans. Together,
\NegotiationArena offers a new environment to investigate LLM interactions,
enabling new insights into LLM's theory of mind, irrationality, and reasoning
abilities.
- Abstract(参考訳): 人間は自動車の価格から共通の資源の共有方法まで、あらゆることを交渉する。
大規模言語モデル(LLM)を人間の代理エージェントとして使うことへの関心が急速に高まっているため、そのようなLLMエージェントも交渉できる必要がある。
本稿では,LLMが相互にどのように交渉できるかを考察する。
我々は,LLMエージェントの交渉能力を評価するための柔軟なフレームワークであるNegotiationArenaを開発した。
我々はNegotiationArenaの3種類のシナリオを実装し、共有リソース(最後試合)、集約リソース(取引ゲーム)、購入・販売商品(価格交渉)の割り当てにおけるLCMの挙動を評価した。
各シナリオはLLMエージェント間の複数のフレキシブルな対話を可能にし、より複雑な交渉を可能にする。
興味深いことに、LLMエージェントは特定の行動戦術を用いて交渉結果を著しく向上させることができる。
例えば、老朽化と絶望のふりをして、標準のGPT-4と交渉する場合、LCMは20倍の報酬を得られる。
また,LLMエージェントが提示する不合理な交渉行動の定量化も行い,その多くが人間にも現れる。
ニューゴタライズアリーナは、LLMの相互作用を研究する新しい環境を提供し、LLMの心の理論、不合理性、推論能力に関する新たな洞察を可能にする。
関連論文リスト
- Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the
Key? [84.36332588191623]
本稿では,議論機構の集合を充実させる新しいグループディスカッションフレームワークを提案する。
マルチエージェントの議論は,プロンプトに実演がない場合にのみ,単一のエージェントよりも優れていることが観察された。
論文 参考訳(メタデータ) (2024-02-28T12:04:05Z) - Are LLMs Effective Negotiators? Systematic Evaluation of the
Multifaceted Capabilities of LLMs in Negotiation Dialogues [5.021504231639885]
LLMは、対話システムの設計から教育的なフィードバックの提供、データ収集のプラクティスのスケールアップに至るまで、交渉研究のさまざまな側面を前進させることができる。
本分析は, GPT-4の諸課題における優位性の増大を裏付けるものである。
例えば、交渉対話に関する主観的な評価を行うとき、モデルは人間のプレイヤーとあまり相関しない。
論文 参考訳(メタデータ) (2024-02-21T06:11:03Z) - Assistive Large Language Model Agents for Socially-Aware Negotiation
Dialogues [53.92137694844765]
我々は、2つの大きな言語モデル(LLM)が各会話における2つの交渉者の役割を果たすことによって、現実世界の交渉をシミュレートする。
第3のLLMは、交渉結果を改善するための基準に違反した発話を書き換えるための修復剤として機能する。
本手法が政策学習と結びついていることを示し,その効果を3つの異なるトピックにわたる交渉において実証するための実証的証拠を豊富に提供する。
論文 参考訳(メタデータ) (2024-01-29T09:07:40Z) - Negotiating with LLMS: Prompt Hacks, Skill Gaps, and Reasoning Deficits [1.4003044924094596]
LLMとの価格交渉において,全年齢層で40人以上の個人を対象とするユーザスタディを実施している。
交渉された価格が、LLMと効果的に相互作用する際のリテラシーのギャップを指摘し、人類が幅広い範囲で達成したことを示す。
論文 参考訳(メタデータ) (2023-11-26T08:44:58Z) - Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。
しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。
本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文 参考訳(メタデータ) (2023-11-09T18:45:16Z) - LLM-Deliberation: Evaluating LLMs with Interactive Multi-Agent
Negotiation Games [53.927705340086334]
本稿では,大規模言語モデルのための新たな評価フレームワークとして交渉ゲームを提案する。
我々は、エージェントが交渉し、常に成功する取引に到達できることを示します。
これらのゲームは、グリーディと敵プレイヤーの存在下でのエージェント間の相互作用のダイナミクスなど、他の重要な側面を評価するのに役立つ。
論文 参考訳(メタデータ) (2023-09-29T13:33:06Z) - Improving Language Model Negotiation with Self-Play and In-Context
Learning from AI Feedback [97.54519989641388]
交渉ゲームにおいて,複数大言語モデル(LLM)が,遊び,振り返り,批判によって自律的に互いに改善できるかどうかを検討する。
私たちが考慮している言語モデルのサブセットだけが、AIフィードバックから自己プレイし、取引価格を改善することができます。
論文 参考訳(メタデータ) (2023-05-17T11:55:32Z) - CaSiNo: A Corpus of Campsite Negotiation Dialogues for Automatic
Negotiation Systems [11.43342650898619]
我々はCaSiNo:英語で数千以上の交渉対話の斬新なコーパスを提示します。
私たちの設計は、トラクタブルで閉じたドメイン環境を維持しながら、多様で言語的に豊富な交渉をもたらします。
これらの戦略を与えられた発話で認識するためのマルチタスクフレームワークの提案と評価を行います。
論文 参考訳(メタデータ) (2021-03-29T16:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。