Fugu-MT 論文翻訳(概要): An Empirical Study on the Overlapping Problem of Open-Domain Dialogue Datasets

論文の概要: An Empirical Study on the Overlapping Problem of Open-Domain Dialogue Datasets

arxiv url: http://arxiv.org/abs/2201.06219v1
Date: Mon, 17 Jan 2022 05:12:13 GMT
ステータス: 処理完了
システム内更新日: 2022-01-19 13:32:03.354650
Title: An Empirical Study on the Overlapping Problem of Open-Domain Dialogue Datasets
Title（参考訳）: オープンドメイン対話データセットの重複問題に関する実証的研究
Authors: Yuqiao Wen, Guoqing Luo, Lili Mou
Abstract要約: 最初に、DailyDialogとOpenSubtitlesという2つの人気のあるオープンドメインダイアログベンチマークデータセットの重複問題を特定する。体系的な解析により,このような重なり合いを利用して,フェイク・オブ・ザ・アーティファクトなパフォーマンスが得られることを示す。
参考スコア（独自算出の注目度）: 18.82300856782973
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Open-domain dialogue systems aim to converse with humans through text, and its research has heavily relied on benchmark datasets. In this work, we first identify the overlapping problem in DailyDialog and OpenSubtitles, two popular open-domain dialogue benchmark datasets. Our systematic analysis then shows that such overlapping can be exploited to obtain fake state-of-the-art performance. Finally, we address this issue by cleaning these datasets and setting up a proper data processing procedure for future research.
Abstract（参考訳）: オープンドメイン対話システムは、テキストを通じて人間と会話することを目的としており、その研究はベンチマークデータセットに大きく依存している。本研究では,2つの人気のあるオープンドメイン対話ベンチマークデータセットであるDailyDialogとOpenSubtitlesの重複問題を特定する。体系的な分析により,このような重複を生かして偽の最先端のパフォーマンスが得られることを示した。最後に、これらのデータセットをクリーン化し、将来の研究のために適切なデータ処理手順を設定することで、この問題に対処する。

関連論文リスト

Synthesizing Conversations from Unlabeled Documents using Automatic Response Segmentation [13.322409682814827]
我々は,会話型質問応答システムにおける不適切でコストのかかるデータトレーニングの課題に対処する。本稿では,ロバストなダイアログ合成手法を提案する。文境界におけるセグメンテーションを使わずに,ダイアログタスクのためのデータのセグメンテーションを学習する。
論文参考訳（メタデータ） (2024-06-06T02:52:45Z)
A Survey on Recent Advances in Conversational Data Generation [14.237954885530396]
マルチターン対話型データ生成の体系的・包括的レビューを行う。オープンドメイン,タスク指向,情報検索の3種類の対話システムに注目した。合成会話データを評価するための評価指標と手法について検討する。
論文参考訳（メタデータ） (2024-05-12T10:11:12Z)
SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
論文参考訳（メタデータ） (2023-05-15T06:08:01Z)
Counterfactual Data Augmentation via Perspective Transition for Open-Domain Dialogues [34.78482218571574]
本稿では,異なるセマンティクスによる高品質な応答を自動的に拡張するデータ拡張手法を提案する。実験結果から,データ拡張手法は対話履歴の異なるセマンティクスで高品質な応答を増強し,複数の下流タスクにおいて競合的ベースラインを上回り得ることが示された。
論文参考訳（メタデータ） (2022-10-30T13:26:49Z)
Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
論文参考訳（メタデータ） (2022-10-25T17:01:30Z)
Towards End-to-End Open Conversational Machine Reading [57.18251784418258]
オープン検索型会話機械読解(OR-CMR)タスクでは,機械は対話履歴とテキスト知識ベースに応答するマルチターン質問を行う必要がある。 OR-CMRを完全エンドツーエンドで統一されたテキスト・ツー・テキスト・タスクとしてモデル化し、ShARCおよびOR-ShARCデータセットを用いた実験により、提案したエンドツーエンド・フレームワークの有効性を示す。
論文参考訳（メタデータ） (2022-10-13T15:50:44Z)
Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。エージェントは対話とマニュアルの両方からタスクを学習する。提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文参考訳（メタデータ） (2022-08-16T08:21:12Z)
A combined approach to the analysis of speech conversations in a contact center domain [2.575030923243061]
本稿では, インバウンドフローやアウトバウンドフローから抽出した通話記録を扱う, イタリアのコンタクトセンターにおける音声分析プロセスの実験について述べる。まず,Kaldi フレームワークをベースとした社内音声合成ソリューションの開発について詳述する。そこで我々は,コールトランスクリプトのセマンティックタグ付けに対する異なるアプローチの評価と比較を行った。最後に、タグ付け問題にJ48Sと呼ばれる決定木インデューサを適用する。
論文参考訳（メタデータ） (2022-03-12T10:03:20Z)
Smoothing Dialogue States for Open Conversational Machine Reading [70.83783364292438]
本稿では,2つの対話状態を1つのデコーダとブリッジ決定と質問生成でスムーズにすることで,効果的なゲーティング戦略を提案する。 OR-ShARCデータセットを用いた実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2021-08-28T08:04:28Z)
Data-Efficient Methods for Dialogue Systems [4.061135251278187]
会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
論文参考訳（メタデータ） (2020-12-05T02:51:09Z)
Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。低品質の対話をフィルタリングするためにランキングモジュールが使用される。モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
論文参考訳（メタデータ） (2020-09-20T13:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。