論文の概要: DeliData: A dataset for deliberation in multi-party problem solving
- arxiv url: http://arxiv.org/abs/2108.05271v3
- Date: Sun, 16 Apr 2023 13:11:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 01:11:43.197380
- Title: DeliData: A dataset for deliberation in multi-party problem solving
- Title(参考訳): DeliData: マルチパーティ問題解決のための検討データセット
- Authors: Georgi Karadzhov, Tom Stafford, Andreas Vlachos
- Abstract要約: リソース不足のため、グループ協議が実施されている。
グループ会話の64%では、グループメンバーは個人が特定したよりも優れたソリューションを見つけることができる。
最終解答として正解を得たグループの43.8%では、参加者の1人ひとりが正しい解答をしていない。
- 参考スコア(独自算出の注目度): 17.152995902615235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group deliberation enables people to collaborate and solve problems, however,
it is understudied due to a lack of resources. To this end, we introduce the
first publicly available dataset containing collaborative conversations on
solving a well-established cognitive task, consisting of 500 group dialogues
and 14k utterances. In 64% of these conversations, the group members are able
to find a better solution than they had identified individually, and in 43.8%
of the groups who had a correct answer as their final solution, none of the
participants had solved the task correctly by themselves. Furthermore, we
propose a novel annotation schema that captures deliberation cues and release
all 14k utterances annotated with it. Finally, we use the proposed dataset to
develop and evaluate two methods for generating deliberation utterances. The
data collection platform, dataset and annotated corpus are publicly available
at https://delibot.xyz.
- Abstract(参考訳): グループ審議は人々が協力し、問題解決を可能にするが、資源不足のため未熟である。
この目的のために,500グループ対話と14k発話からなる認知課題を解決するための協調会話を含む最初の公開データセットを提案する。
これらの会話の64%では、グループメンバーが個別に特定したよりも優れた解決策を見つけることができ、43.8%のグループは正しい答えを最終解として、参加者の誰もそのタスクを正しく解決しなかった。
さらに,検討の手がかりを抽出し,注釈付き14k発話をすべて解放する新しいアノテーションスキーマを提案する。
最後に,提案したデータセットを用いて,検討発話を生成する2つの手法の開発と評価を行う。
data collection platform, dataset, annotated corpusはhttps://delibot.xyz.com/で公開されている。
関連論文リスト
- The Battleship Approach to the Low Resource Entity Matching Problem [0.0]
本稿では,エンティティマッチング問題に対する新しいアクティブな学習手法を提案する。
我々は、エンティティマッチングのユニークな特性を利用する選択メカニズムに焦点を当てる。
実験により,提案アルゴリズムは,最先端のアクティブ・ラーニング・ソリューションより低リソース・エンティティ・マッチングに優れることを示した。
論文 参考訳(メタデータ) (2023-11-27T10:18:17Z) - The StatCan Dialogue Dataset: Retrieving Data Tables through
Conversations with Genuine Intents [26.2497150683291]
StatCan Dialogueデータセットは、Statistics Canadaで働くエージェントと、公開されたデータテーブルを探しているオンラインユーザの間の19,379の会話ターンで構成されている。
本研究では,(1)現在進行中の会話に基づいて関連するテーブルを自動的に検索し,(2)各ターンで適切なエージェント応答を自動生成する2つのタスクを提案する。
論文 参考訳(メタデータ) (2023-04-03T23:18:30Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2022-01-10T22:04:48Z) - Human-in-the-Loop for Data Collection: a Multi-Target Counter Narrative
Dataset to Fight Online Hate Speech [10.323063834827416]
カウンター・ナラティブと呼ばれる、情報や非攻撃的な反応によるヘイトフルコンテンツの影響を損なうことは、より健康的なオンラインコミュニティを実現するための解決策として浮上している。
本稿では、生成言語モデルを反復的に洗練する新しいヒューマン・イン・ザ・ループデータ収集手法を提案する。
その結果、この方法論はスケーラブルであり、多種多様で斬新で費用対効果の高いデータ収集を促進することが示されている。
論文 参考訳(メタデータ) (2021-07-19T09:45:54Z) - A Mutual Information Maximization Approach for the Spurious Solution
Problem in Weakly Supervised Question Answering [60.768146126094955]
弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。
偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。
本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
論文 参考訳(メタデータ) (2021-06-14T05:47:41Z) - What Ingredients Make for an Effective Crowdsourcing Protocol for
Difficult NLU Data Collection Tasks? [31.39009622826369]
我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。
我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。
専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
論文 参考訳(メタデータ) (2021-06-01T21:05:52Z) - IIRC: A Dataset of Incomplete Information Reading Comprehension
Questions [53.3193258414806]
我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。
質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。
我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
論文 参考訳(メタデータ) (2020-11-13T20:59:21Z) - Rapidly Bootstrapping a Question Answering Dataset for COVID-19 [88.86456834766288]
我々は、新型コロナウイルスに特化して設計された質問応答データセットの始まりであるCovidQAを紹介する。
これは、そのタイプの最初の公開リソースであり、より実質的な評価資源が利用可能になるまで研究を導くためのストップギャップとして意図されている。
論文 参考訳(メタデータ) (2020-04-23T17:35:11Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。