論文の概要: Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues

• arxiv url: http://arxiv.org/abs/2402.13550v2
• Date: Wed, 02 Oct 2024 08:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:28.144209
• Title: Are LLMs Effective Negotiators? Systematic Evaluation of the Multifaceted Capabilities of LLMs in Negotiation Dialogues
• Title（参考訳）: LLMは効果的なネゴシエーターか? : 交渉対話におけるLLMの多面的能力の体系的評価
• Authors: Deuksin Kwon, Emily Weiss, Tara Kulshrestha, Kushal Chawla, Gale M. Lucas, Jonathan Gratch,
• Abstract要約: 本研究の目的は,多様な対話シナリオにまたがるLLMの多面的特徴を体系的に解析することである。 本分析では,GPT-4の課題を特定しながら,多くのタスクにおいて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 4.738985706520995
• License:
• Abstract: A successful negotiation requires a range of capabilities, including comprehension of the conversation context, Theory-of-Mind (ToM) skills to infer the partner's motives, strategic reasoning, and effective communication, making it challenging for automated systems. Despite the remarkable performance of LLMs in various NLP tasks, there is no systematic evaluation of their capabilities in negotiation. Such an evaluation is critical for advancing AI negotiation agents and negotiation research, ranging from designing dialogue systems to providing pedagogical feedback and scaling up data collection practices. This work aims to systematically analyze the multifaceted capabilities of LLMs across diverse dialogue scenarios throughout the stages of a typical negotiation interaction. Our analysis highlights GPT-4's superior performance in many tasks while identifying specific challenges, such as making subjective assessments and generating contextually appropriate, strategically advantageous responses.
• Abstract（参考訳）: 交渉の成功には、会話コンテキストの理解、パートナーのモチベーション、戦略的推論、効果的なコミュニケーションを推測するToM(Theory-of-Mind)スキルなど、さまざまな機能が必要である。 様々なNLPタスクにおけるLLMの顕著な性能にもかかわらず、交渉におけるそれらの能力の体系的な評価は行われていない。 このような評価は、対話システムの設計から教育的なフィードバックの提供、データ収集プラクティスのスケールアップに至るまで、AI交渉エージェントや交渉研究の進展に不可欠である。 本研究の目的は,典型的な交渉相互作用の段階を通じて,多様な対話シナリオにおけるLLMの多面的能力を体系的に解析することである。 本分析では,主観的評価を行い,文脈的に適切で戦略的に有利な応答を生成するなど,特定の課題を特定しながら,多くのタスクにおいてGPT-4の優れた性能を強調している。

関連論文リスト

• MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues [58.33076950775072]
  MT-Bench-101は,マルチターン対話におけるLarge Language Models (LLMs) の細粒度化能力を評価するために設計された。 1388のタスクで4208のターンが1388のマルチターン対話にまたがる3階層の階層的能力分類を構築した。 次に,MT-Bench-101に基づく21のLLMを評価し,能力とタスクの観点から総合的な分析を行った。
  論文  参考訳（メタデータ） (2024-02-22T18:21:59Z)
• Let's Negotiate! A Survey of Negotiation Dialogue Systems [56.01648785030208]
  交渉は人間のコミュニケーションにおいて重要な能力である。 近年の交渉対話システムへの関心は、紛争の解決や合意の達成を支援するインテリジェントなエージェントを作ることを目標としている。
  論文  参考訳（メタデータ） (2024-02-02T02:12:46Z)
• Plug-and-Play Policy Planner for Large Language Model Powered Dialogue Agents [121.46051697742608]
  そこで本稿では,PDPPという言語モデルプラグインを用いて対話問題を整理するための新たな対話ポリシー計画パラダイムを提案する。 具体的には、利用可能な人間の注釈付きデータに対する教師付き微調整を容易にするための新しいトレーニングフレームワークを開発する。 PPDPPは3つの異なるプロアクティブな対話アプリケーションにおいて、既存のアプローチを一貫して、実質的に上回っている。
  論文  参考訳（メタデータ） (2023-11-01T03:20:16Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration [72.04629217161656]
  本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。 LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:49:35Z)
• Let's Negotiate! A Survey of Negotiation Dialogue Systems [50.8766991794008]
  交渉は人間のコミュニケーションにおいて重要な能力の1つである。 目標とは、人間が紛争を解決したり、有益な合意に達するのを効率的に支援する能力を持つ知的エージェントを強化することである。
  論文  参考訳（メタデータ） (2022-12-18T12:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。