論文の概要: What Makes Reading Comprehension Questions Difficult?
- arxiv url: http://arxiv.org/abs/2203.06342v1
- Date: Sat, 12 Mar 2022 04:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 14:12:37.703445
- Title: What Makes Reading Comprehension Questions Difficult?
- Title(参考訳): 包括的質問を読むのはなぜ難しいのか?
- Authors: Saku Sugawara, Nikita Nangia, Alex Warstadt, Samuel R. Bowman
- Abstract要約: 我々は、7つの定性的に異なるソースから抽出されたパスに対する理解的質問をクラウドソーシングする。
パスソース,長さ,可読性の測定値が質問の難易度に大きく影響しないことがわかった。
- 参考スコア(独自算出の注目度): 36.592927557088316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a natural language understanding benchmark to be useful in research, it
has to consist of examples that are diverse and difficult enough to
discriminate among current and near-future state-of-the-art systems. However,
we do not yet know how best to select text sources to collect a variety of
challenging examples. In this study, we crowdsource multiple-choice reading
comprehension questions for passages taken from seven qualitatively distinct
sources, analyzing what attributes of passages contribute to the difficulty and
question types of the collected examples. To our surprise, we find that passage
source, length, and readability measures do not significantly affect question
difficulty. Through our manual annotation of seven reasoning types, we observe
several trends between passage sources and reasoning types, e.g., logical
reasoning is more often required in questions written for technical passages.
These results suggest that when creating a new benchmark dataset, selecting a
diverse set of passages can help ensure a diverse range of question types, but
that passage difficulty need not be a priority.
- Abstract(参考訳): 自然言語理解ベンチマークが研究に有用であるためには、現在および近未来のシステム間で識別できるほど多様で難しい例で構成されなければならない。
しかし,テキストソースを選択して,さまざまな難解なサンプルを収集する方法はまだ分かっていない。
そこで本研究では,7つの定性的な資料から抽出した文の読み理解質問をクラウドソースし,収集した例の難易度と質問タイプにどのような寄与があるかを分析した。
驚いたことに、パスソース、長さ、可読性は質問の難易度に大きく影響しない。
7つの推論型を手作業で注釈することで,論理的な推論がより必要となるような,解釈元と推論型の間のいくつかの傾向を観察する。
これらの結果は、新しいベンチマークデータセットを作成する際に、さまざまなパスを選択することで、さまざまなタイプの質問を確実にすることができることを示唆している。
関連論文リスト
- Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳(メタデータ) (2024-02-22T04:14:10Z) - Linguistic features for sentence difficulty prediction in ABSA [0.3172761915061083]
ドメインの多様性と構文の多様性が難易度に与える影響について検討する。
私たちは文の難易度を定義する2つの方法を採用している。
また、文レベルでの難易度を推定することを目的とした9つの言語的特徴も定義する。
論文 参考訳(メタデータ) (2024-02-05T16:31:03Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳(メタデータ) (2023-08-16T20:23:16Z) - Analyzing Multiple-Choice Reading and Listening Comprehension Tests [0.0]
本研究は,会話の書き起こしと聞き取りテストに基づいて,コンテキストパスを複数選択で読み取る必要があるかを検討する。
自動読解システムは、文脈パスへのアクセスを部分的にあるいは全く行わずに、ランダムよりもはるかに優れた性能を発揮することが判明した。
論文 参考訳(メタデータ) (2023-07-03T14:55:02Z) - A Simple Approach to Jointly Rank Passages and Select Relevant Sentences
in the OBQA Context [15.556928370682094]
大規模コーパスから関連する情報をどのように選択するかは、推論と推論にとって重要な問題である。
既存のフレームワークの多くは、ディープラーニングモデルを使用して、関連するパスを選択し、対応するパスの文をマッチングすることで、各質問に回答する。
本稿では,これらの問題に対して,文を共同でランク付けし,文を選択することで,シンプルかつ効果的に対処する枠組みを提案する。
論文 参考訳(メタデータ) (2021-09-22T03:11:17Z) - Asking It All: Generating Contextualized Questions for any Semantic Role [56.724302729493594]
本稿では,役割質問生成の課題について紹介する。
このタスクの2段階モデルを開発し、まず、各ロールに対する文脈に依存しない質問プロトタイプを作成する。
我々の評価は、述語と役割の大規模かつ広範な包括的領域に対して、多種多様でよく形成された質問を生成することを示す。
論文 参考訳(メタデータ) (2021-09-10T12:31:14Z) - Deep learning for sentence clustering in essay grading support [1.7259867886009057]
フィンランド語における大学生エッセイの2つのデータセットを紹介し,文レベルの有意な議論に対して手作業で注釈を付ける。
我々は,エッセイグレーディングを支援するために,文クラスタリングに適した深層学習埋め込み手法をいくつか評価した。
論文 参考訳(メタデータ) (2021-04-23T12:32:51Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳(メタデータ) (2020-10-04T19:03:39Z) - Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。
本研究は,複数回対話を行う対話型MRCに焦点を当てている。
それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
論文 参考訳(メタデータ) (2020-04-29T07:04:43Z) - Essential Sentences for Navigating Stack Overflow Answers [16.78572353748174]
Stack Overflowはソフトウェア開発に不可欠なリソースになっています。
ナビゲーションの手がかりは 重要な文の形で 検索者が 答えを読みたいか スキップしたいか 判断するのに役立つ
本文を同定するための4つの潜在的アプローチを比較した。
論文 参考訳(メタデータ) (2019-12-31T17:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。