論文の概要: DialCrowd 2.0: A Quality-Focused Dialog System Crowdsourcing Toolkit
- arxiv url: http://arxiv.org/abs/2207.12551v1
- Date: Mon, 25 Jul 2022 22:06:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:35:27.626903
- Title: DialCrowd 2.0: A Quality-Focused Dialog System Crowdsourcing Toolkit
- Title(参考訳): DialCrowd 2.0: 高品質な対話システムクラウドソーシングツールキット
- Authors: Jessica Huynh, Ting-Rui Chiang, Jeffrey Bigham, Maxine Eskenazi
- Abstract要約: ダイアログシステム開発者は、システムのトレーニング、微調整、評価に高品質なデータが必要です。
本稿では、例えば、タスクをより明確に提示し、労働者との効果的なコミュニケーションを容易にすることで、要求者が高品質なデータを得るのを助けるために、DialCrowd 2.0を紹介します。
- 参考スコア(独自算出の注目度): 3.165739576013741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dialog system developers need high-quality data to train, fine-tune and
assess their systems. They often use crowdsourcing for this since it provides
large quantities of data from many workers. However, the data may not be of
sufficiently good quality. This can be due to the way that the requester
presents a task and how they interact with the workers. This paper introduces
DialCrowd 2.0 to help requesters obtain higher quality data by, for example,
presenting tasks more clearly and facilitating effective communication with
workers. DialCrowd 2.0 guides developers in creating improved Human
Intelligence Tasks (HITs) and is directly applicable to the workflows used
currently by developers and researchers.
- Abstract(参考訳): ダイアログシステム開発者は、システムのトレーニング、微調整、評価に高品質なデータが必要です。
彼らは多くの労働者から大量のデータを提供するため、クラウドソーシングを使うことが多い。
しかし、データの品質は十分ではないかもしれない。
これは、リクエストがタスクを提示する方法と、ワーカとのインタラクション方法に起因する可能性がある。
本稿では、例えば、タスクをより明確に提示し、労働者との効果的なコミュニケーションを容易にすることで、要求者が高品質なデータを得るのを助けるために、DialCrowd 2.0を紹介します。
DialCrowd 2.0は、改良されたヒューマンインテリジェンスタスク(HIT)の作成をガイドし、現在開発者や研究者が使用しているワークフローに直接適用することができる。
関連論文リスト
- HR-MultiWOZ: A Task Oriented Dialogue (TOD) Dataset for HR LLM Agent [6.764665650605542]
10のHRドメインにまたがる550の会話の完全なラベル付きデータセットであるHR-Multiwozを紹介した。
NLP研究のためのHRドメインにおける最初のラベル付きオープンソースの会話データセットである。
データ解析と人的評価とともに、データ生成手順の詳細なレシピを提供する。
論文 参考訳(メタデータ) (2024-02-01T21:10:44Z) - AUGUST: an Automatic Generation Understudy for Synthesizing
Conversational Recommendation Datasets [56.052803235932686]
本稿では,大規模かつ高品質なレコメンデーションダイアログを生成する新しい自動データセット合成手法を提案する。
i)従来のレコメンデーションデータセットからの豊富なパーソナライズされたユーザプロファイル、(ii)知識グラフからの豊富な外部知識、(iii)人間対人間会話レコメンデーションデータセットに含まれる会話能力。
論文 参考訳(メタデータ) (2023-06-16T05:27:14Z) - Learning towards Selective Data Augmentation for Dialogue Generation [52.540330534137794]
すべての事例が増補作業に有益である訳ではなく、増補に適した事例は以下の2つの属性に従うべきであると我々は主張する。
応答生成タスクに対してSDA(Selective Data Augmentation framework)を提案する。
論文 参考訳(メタデータ) (2023-03-17T01:26:39Z) - KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳(メタデータ) (2022-05-11T16:01:03Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - Dual Task Framework for Debiasing Persona-grounded Dialogue Dataset [17.403065663306567]
我々は、ペルソナ条件の対話エージェントを改善するために、データ中心のアプローチを導入する。
具体的には,2つのタスクの原始的双対構造を活用することで,対話データセット/エージェントを改善するための関連するペルソナを強化する。
Persona-Chat の実験により,本手法は訓練済みの LM よりも精度が 11.7 ポイント向上していることが示された。
論文 参考訳(メタデータ) (2022-02-11T04:08:46Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-15T21:46:39Z) - JobBERT: Understanding Job Titles through Skills [12.569546741576515]
ジョブタイトルは、今日の人事(人事)プロセスの基盤を形成します。
ジョブタイトルはコンパクトで便利で、簡単に利用できるデータソースです。
本稿では,空き地から抽出したスキルラベルからの共起情報を事前学習した言語モデルに付加することにより,求職者のニューラル表現モデルを提案する。
論文 参考訳(メタデータ) (2021-09-20T15:00:10Z) - The Lab vs The Crowd: An Investigation into Data Quality for Neural
Dialogue Models [0.0]
同じインタラクションタスクにおける対話モデルの性能を比較するが、実験室とクラウドソースの2つの設定で収集する。
同様の精度に達するためにラボの対話は少なく、クラウドソースデータとしてのラボデータの半分以下であることが分かりました。
論文 参考訳(メタデータ) (2020-12-07T17:02:00Z) - Conversations with Documents. An Exploration of Document-Centered
Assistance [55.60379539074692]
例えば、個人が文書をすばやくレビューするのを助けるドキュメント中心の支援は、あまり進歩していない。
我々は,文書中心の支援の空間と,人々がこのシナリオで期待する能力を理解するための調査を行う。
a) 文書中心の質問を正確に検出でき、(b) そうした質問に答えるために合理的に正確なモデルを構築することができることを示す。
論文 参考訳(メタデータ) (2020-01-27T17:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。