論文の概要: Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented
Dialogues and Annotations
- arxiv url: http://arxiv.org/abs/2305.14556v1
- Date: Tue, 23 May 2023 22:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 21:27:05.334386
- Title: Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented
Dialogues and Annotations
- Title（参考訳）: Unraveling ChatGPT:AI生成目標指向対話とアノテーションの批判的分析
- Authors: Tiziano Labruna, Sofia Brenna, Andrea Zaninello, Bernardo Magnini
- Abstract要約: 大規模な事前訓練された言語モデルは、プロンプトを通じて高品質なテキストを生成するという前例のない能力を示した。
本稿では,これらのモデルが目標指向対話を生成・注釈する可能性を探究し,その品質を評価するための詳細な分析を行う。
広範囲な人間による評価に基づいて、生成した対話やアノテーションの質が、人間が生成したものと同等であることを示す。
- 参考スコア（独自算出の注目度）: 1.7969777786551426
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large pre-trained language models have exhibited unprecedented capabilities
in producing high-quality text via prompting techniques. This fact introduces
new possibilities for data collection and annotation, particularly in
situations where such data is scarce, complex to gather, expensive, or even
sensitive. In this paper, we explore the potential of these models to generate
and annotate goal-oriented dialogues, and conduct an in-depth analysis to
evaluate their quality. Our experiments employ ChatGPT, and encompass three
categories of goal-oriented dialogues (task-oriented, collaborative, and
explanatory), two generation modes (interactive and one-shot), and two
languages (English and Italian). Based on extensive human-based evaluations, we
demonstrate that the quality of generated dialogues and annotations is on par
with those generated by humans.
- Abstract（参考訳）: 大規模な事前学習された言語モデルは、プロンプト技術によって高品質なテキストを生成する前例のない能力を発揮している。
この事実は、データ収集とアノテーションの新たな可能性をもたらし、特にデータ収集が不十分で、収集が複雑で、高価で、センシティブな状況においてである。
本稿では,これらのモデルが目標指向対話を生成・注釈する可能性を探究し,その品質を評価するための詳細な分析を行う。
実験では,ChatGPTを用い,目標指向対話(タスク指向,協調,説明),2世代モード(対話型,ワンショット型),2言語(英語,イタリア語)の3カテゴリを網羅した。
広範囲な人間による評価に基づいて、生成した対話やアノテーションの質が、人間が生成したものと同等であることを示す。
関連論文リスト
- A Comparative Analysis of Conversational Large Language Models in
Knowledge-Based Text Generation [5.661396828160973]
本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。
我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。
この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
論文 参考訳（メタデータ） (2024-02-02T15:26:39Z) - Dialogue Quality and Emotion Annotations for Customer Support
Conversations [7.218791626731783]
本稿では、二言語的顧客サポート会話の文脈における感情と会話品質に対する全体論的アノテーションアプローチを提案する。
これは、テキスト分類モデルの開発に、ユニークで価値のあるリソースを提供する。
論文 参考訳（メタデータ） (2023-11-23T10:56:14Z) - Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。
対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。
また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文 参考訳（メタデータ） (2023-09-18T11:03:55Z) - Neural Conversation Models and How to Rein Them in: A Survey of Failures
and Fixes [17.489075240435348]
最近の条件付き言語モデルは、しばしば流動的な方法で、あらゆる種類のテキストソースを継続することができる。
言語の観点から言えば、会話への貢献は高い。
最近のアプローチでは、基礎となる言語モデルを様々な介入ポイントでテームしようと試みている。
論文 参考訳（メタデータ） (2023-08-11T12:07:45Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - A Benchmark for Understanding and Generating Dialogue between Characters
in Stories [75.29466820496913]
本研究は,機械が物語の対話を理解・生成できるかどうかを探求する最初の研究である。
マスク付き対話生成と対話話者認識という2つの新しいタスクを提案する。
DialStoryの自動評価と手動評価で既存のモデルをテストすることで,提案課題の難しさを示す。
論文 参考訳（メタデータ） (2022-09-18T10:19:04Z) - Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。
CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文 参考訳（メタデータ） (2022-01-31T18:11:21Z) - Language Model as an Annotator: Exploring DialoGPT for Dialogue
Summarization [29.887562761942114]
本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。
ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
論文 参考訳（メタデータ） (2021-05-26T13:50:13Z) - Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。
本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。
対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
論文 参考訳（メタデータ） (2020-12-30T18:18:47Z) - Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。
本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。
我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
論文 参考訳（メタデータ） (2020-06-27T08:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。