論文の概要: An Empirical Study on the Overlapping Problem of Open-Domain Dialogue
Datasets
- arxiv url: http://arxiv.org/abs/2201.06219v1
- Date: Mon, 17 Jan 2022 05:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 13:32:03.354650
- Title: An Empirical Study on the Overlapping Problem of Open-Domain Dialogue
Datasets
- Title(参考訳): オープンドメイン対話データセットの重複問題に関する実証的研究
- Authors: Yuqiao Wen, Guoqing Luo, Lili Mou
- Abstract要約: 最初に、DailyDialogとOpenSubtitlesという2つの人気のあるオープンドメインダイアログベンチマークデータセットの重複問題を特定する。
体系的な解析により,このような重なり合いを利用して,フェイク・オブ・ザ・アーティファクトなパフォーマンスが得られることを示す。
- 参考スコア(独自算出の注目度): 18.82300856782973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-domain dialogue systems aim to converse with humans through text, and
its research has heavily relied on benchmark datasets. In this work, we first
identify the overlapping problem in DailyDialog and OpenSubtitles, two popular
open-domain dialogue benchmark datasets. Our systematic analysis then shows
that such overlapping can be exploited to obtain fake state-of-the-art
performance. Finally, we address this issue by cleaning these datasets and
setting up a proper data processing procedure for future research.
- Abstract(参考訳): オープンドメイン対話システムは、テキストを通じて人間と会話することを目的としており、その研究はベンチマークデータセットに大きく依存している。
本研究では,2つの人気のあるオープンドメイン対話ベンチマークデータセットであるDailyDialogとOpenSubtitlesの重複問題を特定する。
体系的な分析により,このような重複を生かして偽の最先端のパフォーマンスが得られることを示した。
最後に、これらのデータセットをクリーン化し、将来の研究のために適切なデータ処理手順を設定することで、この問題に対処する。
関連論文リスト
- Synthesizing Conversations from Unlabeled Documents using Automatic Response Segmentation [13.322409682814827]
我々は,会話型質問応答システムにおける不適切でコストのかかるデータトレーニングの課題に対処する。
本稿では,ロバストなダイアログ合成手法を提案する。
文境界におけるセグメンテーションを使わずに,ダイアログタスクのためのデータのセグメンテーションを学習する。
論文 参考訳(メタデータ) (2024-06-06T02:52:45Z) - A Survey on Recent Advances in Conversational Data Generation [14.237954885530396]
マルチターン対話型データ生成の体系的・包括的レビューを行う。
オープンドメイン,タスク指向,情報検索の3種類の対話システムに注目した。
合成会話データを評価するための評価指標と手法について検討する。
論文 参考訳(メタデータ) (2024-05-12T10:11:12Z) - Learning from Emotions, Demographic Information and Implicit User
Feedback in Task-Oriented Document-Grounded Dialogues [59.516187851808375]
FEDIは、人口統計情報、ユーザ感情、暗黙のフィードバックを付加したタスク指向文書地上対話のための最初の英語対話データセットである。
FLAN-T5, GPT-2, LLaMA-2 を用いて行った実験から,これらのデータにより,タスク完了と実際の応答の整合性,ユーザの受容性が改善される可能性が示唆された。
論文 参考訳(メタデータ) (2024-01-17T14:52:26Z) - SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。
我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。
また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
論文 参考訳(メタデータ) (2023-05-15T06:08:01Z) - Counterfactual Data Augmentation via Perspective Transition for
Open-Domain Dialogues [34.78482218571574]
本稿では,異なるセマンティクスによる高品質な応答を自動的に拡張するデータ拡張手法を提案する。
実験結果から,データ拡張手法は対話履歴の異なるセマンティクスで高品質な応答を増強し,複数の下流タスクにおいて競合的ベースラインを上回り得ることが示された。
論文 参考訳(メタデータ) (2022-10-30T13:26:49Z) - Weakly Supervised Data Augmentation Through Prompting for Dialogue
Understanding [103.94325597273316]
本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。
我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。
特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
論文 参考訳(メタデータ) (2022-10-25T17:01:30Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳(メタデータ) (2022-08-16T08:21:12Z) - A combined approach to the analysis of speech conversations in a contact
center domain [2.575030923243061]
本稿では, インバウンドフローやアウトバウンドフローから抽出した通話記録を扱う, イタリアのコンタクトセンターにおける音声分析プロセスの実験について述べる。
まず,Kaldi フレームワークをベースとした社内音声合成ソリューションの開発について詳述する。
そこで我々は,コールトランスクリプトのセマンティックタグ付けに対する異なるアプローチの評価と比較を行った。
最後に、タグ付け問題にJ48Sと呼ばれる決定木インデューサを適用する。
論文 参考訳(メタデータ) (2022-03-12T10:03:20Z) - Smoothing Dialogue States for Open Conversational Machine Reading [70.83783364292438]
本稿では,2つの対話状態を1つのデコーダとブリッジ決定と質問生成でスムーズにすることで,効果的なゲーティング戦略を提案する。
OR-ShARCデータセットを用いた実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2021-08-28T08:04:28Z) - Data-Efficient Methods for Dialogue Systems [4.061135251278187]
会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。
ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。
本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
論文 参考訳(メタデータ) (2020-12-05T02:51:09Z) - Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired
Data [61.71319905364992]
未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。
データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。
低品質の対話をフィルタリングするためにランキングモジュールが使用される。
モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
論文 参考訳(メタデータ) (2020-09-20T13:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。