論文の概要: "I Never Said That": A dataset, taxonomy and baselines on response clarity classification
- arxiv url: http://arxiv.org/abs/2409.13879v1
- Date: Fri, 20 Sep 2024 20:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 04:50:50.819974
- Title: "I Never Said That": A dataset, taxonomy and baselines on response clarity classification
- Title（参考訳）: I Never Said That:A data, taxonomy and baselines on response clarity classification
- Authors: Konstantinos Thomas, Giorgos Filandrianos, Maria Lymperaiou, Chrysoula Zerva, Giorgos Stamou,
- Abstract要約: 本稿では,応答の明瞭さを検出し分類するタスクを編み出した新しい分類法を提案する。
提案する2段階分類法は,質問に対する回答の明瞭度を,質問に対する情報提供の観点から明らかにする。
ChatGPTと人間のアノテーションを組み合わせて、政治インタビューから個別のQAペアを収集、検証、注釈付けします。
- 参考スコア（独自算出の注目度）: 4.16330182801919
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Equivocation and ambiguity in public speech are well-studied discourse phenomena, especially in political science and analysis of political interviews. Inspired by the well-grounded theory on equivocation, we aim to resolve the closely related problem of response clarity in questions extracted from political interviews, leveraging the capabilities of Large Language Models (LLMs) and human expertise. To this end, we introduce a novel taxonomy that frames the task of detecting and classifying response clarity and a corresponding clarity classification dataset which consists of question-answer (QA) pairs drawn from political interviews and annotated accordingly. Our proposed two-level taxonomy addresses the clarity of a response in terms of the information provided for a given question (high-level) and also provides a fine-grained taxonomy of evasion techniques that relate to unclear, ambiguous responses (lower-level). We combine ChatGPT and human annotators to collect, validate and annotate discrete QA pairs from political interviews, to be used for our newly introduced response clarity task. We provide a detailed analysis and conduct several experiments with different model architectures, sizes and adaptation methods to gain insights and establish new baselines over the proposed dataset and task.
- Abstract（参考訳）: 公言における平等と曖昧さは、特に政治科学や政治インタビューの分析において、よく研究された談話現象である。
本研究では,政治インタビューから抽出した質問に対する回答の明確さに関する密接に関連する問題を,LLM(Large Language Models)の能力と人間の専門性を活かして解決することを目的としている。
そこで本研究では,応答の明瞭さを検知・分類するタスクを編み出した新しい分類法と,政治的インタビューから抽出された質問応答(QA)ペアからなる対応する明瞭度分類データセットを導入する。
提案する2段階分類法は,与えられた質問(ハイレベル)に提供された情報の観点から応答の明確さに対処し,不明瞭で不明瞭な応答(低レベル)に関連する回避手法のきめ細かい分類法を提供する。
我々はChatGPTと人間のアノテーションを組み合わせて、政治インタビューから個別のQAペアを収集、検証、注釈し、新たに導入された応答明確化タスクに使用します。
我々は、さまざまなモデルアーキテクチャ、サイズ、適応手法を用いて詳細な分析を行い、洞察を得、提案したデータセットとタスクに対して新たなベースラインを確立するために、いくつかの実験を行う。
関連論文リスト
- AI Conversational Interviewing: Transforming Surveys with LLMs as Adaptive Interviewers [40.80290002598963]
本研究では,人間のインタビュアーを大規模言語モデル (LLM) に置き換えて,スケーラブルな対話型インタビュアーを実現する可能性について検討する。
大学生を対象に,AIとヒューマンインタビュアーの双方にランダムにインタビューを依頼された学生を対象に,小規模で詳細な調査を行った。
様々な量的・質的な尺度は, インタビュアーのガイドライン, 応答品質, 参加者参加率, 総合的な面接効果に順応した。
論文 参考訳（メタデータ） (2024-09-16T16:03:08Z) - Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。
本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。
NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-09-11T07:24:07Z) - PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。
本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。
次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
論文 参考訳（メタデータ） (2024-02-26T14:40:34Z) - Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - What should I Ask: A Knowledge-driven Approach for Follow-up Questions
Generation in Conversational Surveys [63.51903260461746]
対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。
そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。
次に,その課題に対する2段階の知識駆動モデルを提案する。
論文 参考訳（メタデータ） (2022-05-23T00:57:33Z) - Asking Complex Questions with Multi-hop Answer-focused Reasoning [16.01240703148773]
複雑で意味のある質問を問うマルチホップ質問生成という新しいタスクを提案する。
そこで本研究では,回答中心のエンティティグラフに基づくマルチホップ応答中心の推論を提案する。
論文 参考訳（メタデータ） (2020-09-16T00:30:49Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Analysing the Effect of Clarifying Questions on Document Ranking in
Conversational Search [10.335808358080289]
質問の明確化とユーザの回答の相違がランキングの質に与える影響について検討する。
単純な語彙ベースラインを導入し、既存のナイーブベースラインを著しく上回ります。
論文 参考訳（メタデータ） (2020-08-09T12:55:16Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳（メタデータ） (2020-07-26T07:13:32Z) - Visual Question Answering with Prior Class Semantics [50.845003775809836]
候補解のセマンティクスに関連する追加情報を利用する方法を示す。
セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。
提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
論文 参考訳（メタデータ） (2020-05-04T02:46:31Z) - Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。
本研究は,複数回対話を行う対話型MRCに焦点を当てている。
それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
論文 参考訳（メタデータ） (2020-04-29T07:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。