論文の概要: Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues

• arxiv url: http://arxiv.org/abs/2402.13550v1
• Date: Wed, 21 Feb 2024 06:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:42:03.426904
• Title: Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
• Title（参考訳）: LLMは効果的な交渉者か? 交渉対話におけるLLMの多面的能力の体系的評価
• Authors: Deuksin Kwon, Emily Weiss, Tara Kulshrestha, Kushal Chawla, Gale M. Lucas, Jonathan Gratch
• Abstract要約: LLMは、対話システムの設計から教育的なフィードバックの提供、データ収集のプラクティスのスケールアップに至るまで、交渉研究のさまざまな側面を前進させることができる。 本分析は, GPT-4の諸課題における優位性の増大を裏付けるものである。 例えば、交渉対話に関する主観的な評価を行うとき、モデルは人間のプレイヤーとあまり相関しない。
• 参考スコア（独自算出の注目度）: 5.021504231639885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A successful negotiation demands a deep comprehension of the conversation context, Theory-of-Mind (ToM) skills to infer the partner's motives, as well as strategic reasoning and effective communication, making it challenging for automated systems. Given the remarkable performance of LLMs across a variety of NLP tasks, in this work, we aim to understand how LLMs can advance different aspects of negotiation research, ranging from designing dialogue systems to providing pedagogical feedback and scaling up data collection practices. To this end, we devise a methodology to analyze the multifaceted capabilities of LLMs across diverse dialogue scenarios covering all the time stages of a typical negotiation interaction. Our analysis adds to the increasing evidence for the superiority of GPT-4 across various tasks while also providing insights into specific tasks that remain difficult for LLMs. For instance, the models correlate poorly with human players when making subjective assessments about the negotiation dialogues and often struggle to generate responses that are contextually appropriate as well as strategically advantageous.
• Abstract（参考訳）: 交渉が成功すれば、会話のコンテキストの深い理解、パートナーのモチベーションを推測するための理論・オブ・ミンド(ToM)スキル、戦略的推論と効果的なコミュニケーションが要求される。 本研究は,多種多様なNLPタスクにおけるLLMの顕著な性能を考慮し,対話システムの設計から教育的フィードバックの提供,データ収集プラクティスのスケールアップに至るまで,LLMが交渉研究のさまざまな側面をどのように進めるかを理解することを目的とする。 そこで本研究では,LLMの多面的機能解析手法を,典型的な対話のすべての段階をカバーする多様な対話シナリオに適用する。 我々の分析は、様々なタスクにまたがる GPT-4 の優位性を示す証拠を増やしつつ、LSM にとって困難な特定のタスクに関する洞察を与えている。 例えば、交渉対話に関する主観的な評価を行うとき、モデルは人間のプレイヤーと相関が悪く、しばしば文脈的に適切であり、戦略的に有利な応答を生成するのに苦労する。

関連論文リスト

• MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues [58.33076950775072]
  MT-Bench-101は,マルチターン対話におけるLarge Language Models (LLMs) の細粒度化能力を評価するために設計された。 1388のタスクで4208のターンが1388のマルチターン対話にまたがる3階層の階層的能力分類を構築した。 次に,MT-Bench-101に基づく21のLLMを評価し,能力とタスクの観点から総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-02-22T18:21:59Z)
• Let's Negotiate! A Survey of Negotiation Dialogue Systems [56.01648785030208]
  交渉は人間のコミュニケーションにおいて重要な能力である。 近年の交渉対話システムへの関心は、紛争の解決や合意の達成を支援するインテリジェントなエージェントを作ることを目標としている。
  論文  参考訳（メタデータ） (2024-02-02T02:12:46Z)
• Plug-and-Play Policy Planner for Large Language Model Powered Dialogue Agents [121.46051697742608]
  そこで本稿では,PDPPという言語モデルプラグインを用いて対話問題を整理するための新たな対話ポリシー計画パラダイムを提案する。 具体的には、利用可能な人間の注釈付きデータに対する教師付き微調整を容易にするための新しいトレーニングフレームワークを開発する。 PPDPPは3つの異なるプロアクティブな対話アプリケーションにおいて、既存のアプローチを一貫して、実質的に上回っている。
  論文  参考訳（メタデータ） (2023-11-01T03:20:16Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration [72.04629217161656]
  本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。 LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:49:35Z)
• Let's Negotiate! A Survey of Negotiation Dialogue Systems [50.8766991794008]
  交渉は人間のコミュニケーションにおいて重要な能力の1つである。 目標とは、人間が紛争を解決したり、有益な合意に達するのを効率的に支援する能力を持つ知的エージェントを強化することである。
  論文  参考訳（メタデータ） (2022-12-18T12:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。