論文の概要: Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness

• arxiv url: http://arxiv.org/abs/2004.14008v2
• Date: Tue, 6 Oct 2020 16:19:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 13:44:13.265824
• Title: Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness
• Title（参考訳）: 接続性と内容関連性による雑音対話コーパスのフィルタリング
• Authors: Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui
• Abstract要約: 本稿では,その接続性と関連性の観点から,発話対の品質を評価する手法を提案する。 提案手法によりフィルタリングされたトレーニングデータにより,応答生成における神経対話エージェントの品質が向上することが実験的に確認された。
• 参考スコア（独自算出の注目度）: 44.632752961462636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale dialogue datasets have recently become available for training neural dialogue agents. However, these datasets have been reported to contain a non-negligible number of unacceptable utterance pairs. In this paper, we propose a method for scoring the quality of utterance pairs in terms of their connectivity and relatedness. The proposed scoring method is designed based on findings widely shared in the dialogue and linguistics research communities. We demonstrate that it has a relatively good correlation with the human judgment of dialogue quality. Furthermore, the method is applied to filter out potentially unacceptable utterance pairs from a large-scale noisy dialogue corpus to ensure its quality. We experimentally confirm that training data filtered by the proposed method improves the quality of neural dialogue agents in response generation.
• Abstract（参考訳）: 大規模な対話データセットが最近、ニューラルネットワークエージェントのトレーニングに利用できるようになった。 しかし、これらのデータセットには許容できない発話対の非許容数が含まれていることが報告されている。 本稿では,その接続性と関連性の観点から,発話対の品質を評価する手法を提案する。 提案手法は,対話と言語学の研究コミュニティで広く共有されている知見に基づいて設計されている。 対話品質の人的判断と相対的に良好な相関関係があることを実証する。 さらに、大規模雑音対話コーパスから、潜在的に受け入れられない発話対をフィルタリングし、その品質を保証する。 提案手法によりフィルタリングされたトレーニングデータが応答生成における神経対話エージェントの品質を向上させることを実験的に確認する。

関連論文リスト

• PairEval: Open-domain Dialogue Evaluation with Pairwise Comparison [38.03304773600225]
  PairEvalは、異なる会話における応答と品質を比較して応答を評価するための、新しい対話評価指標である。 PairEvalは基準値よりも人間の判断と高い相関を示すことを示す。 また,提案手法は,オープンドメイン対話システムからの共通障害の検出において,より堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-04-01T09:35:06Z)
• Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
  ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。 我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
  論文  参考訳（メタデータ） (2023-06-06T19:43:29Z)
• Counterfactual Data Augmentation via Perspective Transition for Open-Domain Dialogues [34.78482218571574]
  本稿では,異なるセマンティクスによる高品質な応答を自動的に拡張するデータ拡張手法を提案する。 実験結果から,データ拡張手法は対話履歴の異なるセマンティクスで高品質な応答を増強し,複数の下流タスクにおいて競合的ベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2022-10-30T13:26:49Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。