論文の概要: Qsnail: A Questionnaire Dataset for Sequential Question Generation
- arxiv url: http://arxiv.org/abs/2402.14272v1
- Date: Thu, 22 Feb 2024 04:14:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 16:35:12.033265
- Title: Qsnail: A Questionnaire Dataset for Sequential Question Generation
- Title（参考訳）: Qsnail: 逐次質問生成のための質問データセット
- Authors: Yan Lei, Liang Pang, Yuanzhuo Wang, Huawei Shen, Xueqi Cheng
- Abstract要約: 質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
- 参考スコア（独自算出の注目度）: 76.616068047362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The questionnaire is a professional research methodology used for both
qualitative and quantitative analysis of human opinions, preferences,
attitudes, and behaviors. However, designing and evaluating questionnaires
demands significant effort due to their intricate and complex structure.
Questionnaires entail a series of questions that must conform to intricate
constraints involving the questions, options, and overall structure.
Specifically, the questions should be relevant and specific to the given
research topic and intent. The options should be tailored to the questions,
ensuring they are mutually exclusive, completed, and ordered sensibly.
Moreover, the sequence of questions should follow a logical order, grouping
similar topics together. As a result, automatically generating questionnaires
presents a significant challenge and this area has received limited attention
primarily due to the scarcity of high-quality datasets. To address these
issues, we present Qsnail, the first dataset specifically constructed for the
questionnaire generation task, which comprises 13,168 human-written
questionnaires gathered from online platforms. We further conduct experiments
on Qsnail, and the results reveal that retrieval models and traditional
generative models do not fully align with the given research topic and intents.
Large language models, while more closely related to the research topic and
intents, exhibit significant limitations in terms of diversity and specificity.
Despite enhancements through the chain-of-thought prompt and finetuning,
questionnaires generated by language models still fall short of human-written
questionnaires. Therefore, questionnaire generation is challenging and needs to
be further explored. The dataset is available at:
https://github.com/LeiyanGithub/qsnail.
- Abstract（参考訳）: このアンケートは、人間の意見、好み、態度、行動の質的および定量的分析に使用される専門的な研究手法である。
しかし, アンケートの設計と評価には, 複雑で複雑な構造が求められる。
質問には、質問、選択肢、全体構造を含む複雑な制約に従わなければならない一連の質問が含まれる。
具体的には、質問は、与えられた研究トピックと意図に関連するものでなければならない。
選択肢は質問に合わせて調整され、相互に排他的であり、完了し、賢明に順序づけされる。
さらに、質問の順序は論理的な順序に従って、類似したトピックをまとめるべきである。
その結果, 質問紙の自動作成は重要な課題であり, 高品質なデータセットが不足していることが主な理由として注目されている。
これらの課題に対処するため,オンラインプラットフォームから収集した13,168人の質問紙からなる質問紙作成タスク用に構築された最初のデータセットであるQsnailを提示する。
さらに,qsnailに関する実験を行い,検索モデルと従来の生成モデルが与えられた研究課題や意図と完全に一致しないことを明らかにした。
大規模な言語モデルは、研究トピックや意図とより密接に関連しているが、多様性と特異性の観点からは大きな制限がある。
思考の連鎖と微調整による強化にもかかわらず、言語モデルによって生成されたアンケートは、まだ人間の書いたアンケートに届かない。
したがって、アンケート生成は困難であり、さらなる調査が必要である。
データセットは、https://github.com/leiyangithub/qsnailで入手できる。
関連論文リスト
- Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。
分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
論文 参考訳（メタデータ） (2024-05-30T17:55:28Z) - FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。
オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。
既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
論文 参考訳（メタデータ） (2023-09-10T11:58:29Z) - What should I Ask: A Knowledge-driven Approach for Follow-up Questions
Generation in Conversational Surveys [63.51903260461746]
対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。
そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。
次に,その課題に対する2段階の知識駆動モデルを提案する。
論文 参考訳（メタデータ） (2022-05-23T00:57:33Z) - Reinforcement Learning for Abstractive Question Summarization with
Question-aware Semantic Rewards [20.342580435464072]
本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。
i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。
これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
論文 参考訳（メタデータ） (2021-07-01T02:06:46Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Challenges in Information-Seeking QA: Unanswerable Questions and
Paragraph Retrieval [46.3246135936476]
情報検索クエリの応答がより難しい理由と,その原因を解析する。
制御実験の結果,2つのヘッドルーム – 段落選択と応答可能性予測 – が示唆された。
私たちは6つの言語で800の未解決例を手動で注釈付けします。
論文 参考訳（メタデータ） (2020-10-22T17:48:17Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - ClarQ: A large-scale and diverse dataset for Clarification Question
Generation [67.1162903046619]
そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。
質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。
我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
論文 参考訳（メタデータ） (2020-06-10T17:56:50Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-04-30T00:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。