論文の概要: Self-Explanation Prompting Improves Dialogue Understanding in Large
Language Models
- arxiv url: http://arxiv.org/abs/2309.12940v1
- Date: Fri, 22 Sep 2023 15:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 13:58:02.784015
- Title: Self-Explanation Prompting Improves Dialogue Understanding in Large
Language Models
- Title(参考訳): 自己説明促進は大規模言語モデルにおける対話理解を改善する
- Authors: Haoyu Gao, Ting-En Lin, Hangyu Li, Min Yang, Yuchuan Wu, Wentao Ma,
Yongbin Li
- Abstract要約: 大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。
このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。
6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
- 参考スコア(独自算出の注目度): 52.24756457516834
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task-oriented dialogue (TOD) systems facilitate users in executing various
activities via multi-turn dialogues, but Large Language Models (LLMs) often
struggle to comprehend these intricate contexts. In this study, we propose a
novel "Self-Explanation" prompting strategy to enhance the comprehension
abilities of LLMs in multi-turn dialogues. This task-agnostic approach requires
the model to analyze each dialogue utterance before task execution, thereby
improving performance across various dialogue-centric tasks. Experimental
results from six benchmark datasets confirm that our method consistently
outperforms other zero-shot prompts and matches or exceeds the efficacy of
few-shot prompts, demonstrating its potential as a powerful tool in enhancing
LLMs' comprehension in complex dialogue tasks.
- Abstract(参考訳): タスク指向対話(TOD)システムは、マルチターンダイアログを通じて様々なアクティビティをユーザが実行できるようにするが、Large Language Models(LLM)は複雑なコンテキストを理解するのにしばしば苦労する。
本研究では,多段対話におけるllmの理解能力を高めるための新しい「自己説明」戦略を提案する。
このタスクに依存しないアプローチでは、各対話発話をタスク実行前に分析する必要があるため、さまざまな対話中心タスクのパフォーマンスが向上する。
6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトを一貫して上回り,数ショットプロンプトの有効性を上回り,複雑な対話タスクにおけるLLMの理解を高める強力なツールとしての可能性を示す。
関連論文リスト
- MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language
Models in Multi-Turn Dialogues [60.06687731373886]
MT-Bench-101は,マルチターン対話におけるLarge Language Models (LLMs) の細粒度化能力を評価するために設計された。
1388のタスクで4208のターンが1388のマルチターン対話にまたがる3階層の階層的能力分類を構築した。
次に,MT-Bench-101に基づく21のLLMを評価し,能力とタスクの観点から総合的な分析を行った。
論文 参考訳(メタデータ) (2024-02-22T18:21:59Z) - Are LLMs Effective Negotiators? Systematic Evaluation of the
Multifaceted Capabilities of LLMs in Negotiation Dialogues [5.021504231639885]
LLMは、対話システムの設計から教育的なフィードバックの提供、データ収集のプラクティスのスケールアップに至るまで、交渉研究のさまざまな側面を前進させることができる。
本分析は, GPT-4の諸課題における優位性の増大を裏付けるものである。
例えば、交渉対話に関する主観的な評価を行うとき、モデルは人間のプレイヤーとあまり相関しない。
論文 参考訳(メタデータ) (2024-02-21T06:11:03Z) - Exploring the Dialogue Comprehension Ability of Large Language Models [55.528419872243994]
評価は対話要約タスクの助けを借りて行われる。
生成した要約から事実質問を導き、より柔軟な対話理解尺度として利用する。
提案手法はDIAC-FactQAで10.9%の誤差率向上を実現した。
論文 参考訳(メタデータ) (2023-11-13T09:32:12Z) - Plug-and-Play Policy Planner for Large Language Model Powered Dialogue
Agents [121.46051697742608]
そこで本稿では,PDPPという言語モデルプラグインを用いて対話問題を整理するための新たな対話ポリシー計画パラダイムを提案する。
具体的には、利用可能な人間の注釈付きデータに対する教師付き微調整を容易にするための新しいトレーニングフレームワークを開発する。
PPDPPは3つの異なるプロアクティブな対話アプリケーションにおいて、既存のアプローチを一貫して、実質的に上回っている。
論文 参考訳(メタデータ) (2023-11-01T03:20:16Z) - Frugal Prompting for Dialog Models [17.048111072193933]
本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。
即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。
この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
論文 参考訳(メタデータ) (2023-05-24T09:06:49Z) - STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。
本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。
変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2022-12-24T04:39:54Z) - Improving Zero and Few-shot Generalization in Dialogue through
Instruction Tuning [27.92734269206744]
InstructDialは対話のための命令チューニングフレームワークである。
48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。
分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
論文 参考訳(メタデータ) (2022-05-25T11:37:06Z) - DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented
Dialogue [17.729711165119472]
本研究では,4つの自然言語理解タスクをカバーする7つのタスク指向対話データセットからなる公開ベンチマークであるDialoGLUE(Dialogue Language Understanding Evaluation)を紹介する。
我々は、いくつかの強力なベースラインモデルをリリースし、バニラBERTアーキテクチャの性能改善と、7つのタスクのうち5つの最先端の結果を示します。
DialoGLUEベンチマーク、ベースライン手法、評価スクリプトを通じて、我々はより汎用的なタスク指向対話モデルを開発する目標に向けて前進したいと考えている。
論文 参考訳(メタデータ) (2020-09-28T18:36:23Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z) - TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented
Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。
事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文 参考訳(メタデータ) (2020-04-15T04:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。