論文の概要: What Makes Reading Comprehension Questions Difficult?
- arxiv url: http://arxiv.org/abs/2203.06342v1
- Date: Sat, 12 Mar 2022 04:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 14:12:37.703445
- Title: What Makes Reading Comprehension Questions Difficult?
- Title（参考訳）: 包括的質問を読むのはなぜ難しいのか?
- Authors: Saku Sugawara, Nikita Nangia, Alex Warstadt, Samuel R. Bowman
- Abstract要約: 我々は、7つの定性的に異なるソースから抽出されたパスに対する理解的質問をクラウドソーシングする。
パスソース,長さ,可読性の測定値が質問の難易度に大きく影響しないことがわかった。
- 参考スコア（独自算出の注目度）: 36.592927557088316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For a natural language understanding benchmark to be useful in research, it
has to consist of examples that are diverse and difficult enough to
discriminate among current and near-future state-of-the-art systems. However,
we do not yet know how best to select text sources to collect a variety of
challenging examples. In this study, we crowdsource multiple-choice reading
comprehension questions for passages taken from seven qualitatively distinct
sources, analyzing what attributes of passages contribute to the difficulty and
question types of the collected examples. To our surprise, we find that passage
source, length, and readability measures do not significantly affect question
difficulty. Through our manual annotation of seven reasoning types, we observe
several trends between passage sources and reasoning types, e.g., logical
reasoning is more often required in questions written for technical passages.
These results suggest that when creating a new benchmark dataset, selecting a
diverse set of passages can help ensure a diverse range of question types, but
that passage difficulty need not be a priority.
- Abstract（参考訳）: 自然言語理解ベンチマークが研究に有用であるためには、現在および近未来のシステム間で識別できるほど多様で難しい例で構成されなければならない。
しかし,テキストソースを選択して,さまざまな難解なサンプルを収集する方法はまだ分かっていない。
そこで本研究では,7つの定性的な資料から抽出した文の読み理解質問をクラウドソースし,収集した例の難易度と質問タイプにどのような寄与があるかを分析した。
驚いたことに、パスソース、長さ、可読性は質問の難易度に大きく影響しない。
7つの推論型を手作業で注釈することで,論理的な推論がより必要となるような,解釈元と推論型の間のいくつかの傾向を観察する。
これらの結果は、新しいベンチマークデータセットを作成する際に、さまざまなパスを選択することで、さまざまなタイプの質問を確実にすることができることを示唆している。
関連論文リスト
- Reading Between the Lines: A dataset and a study on why some texts are tougher than others [0.20482269513546458]
本研究の目的は,知的障害のある特定の観衆に対して,テキストの読解が難しいことの理解を深めることである。
本稿では,心理学における経験的研究に基づく難易度アノテーションの体系について紹介する。
マルチクラス分類のタスクを実行するために,4種類の事前学習型トランスフォーマーモデルを微調整した。
論文 参考訳（メタデータ） (2025-01-03T13:09:46Z) - How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions [14.999106867218572]
オープン・クローズドな質問に対するタスクノベルティと難解さの関数として,文脈内学習の性能を測定した。
反故意に、トピックとより整合したコンテキストは、必ずしもあまり関係のないコンテキストに役立ちません。
論文 参考訳（メタデータ） (2024-07-02T07:52:30Z) - Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP [32.19010113355365]
異なるタスクをコンテキスト長で膨らませることは、生産的ではないと我々は主張する。
我々は、長い文脈でそれらがより困難になる特性に基づいて、長い文脈の分類を解き放つことを提案する。
必要な情報が非常に長く、入力内で非常に拡散している、最も困難で興味深い設定は、非常に過度に探索されている、と結論付けている。
論文 参考訳（メタデータ） (2024-06-29T11:09:47Z) - Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - Linguistic features for sentence difficulty prediction in ABSA [0.3172761915061083]
ドメインの多様性と構文の多様性が難易度に与える影響について検討する。
私たちは文の難易度を定義する2つの方法を採用している。
また、文レベルでの難易度を推定することを目的とした9つの言語的特徴も定義する。
論文 参考訳（メタデータ） (2024-02-05T16:31:03Z) - Analyzing Multiple-Choice Reading and Listening Comprehension Tests [0.0]
本研究は,会話の書き起こしと聞き取りテストに基づいて,コンテキストパスを複数選択で読み取る必要があるかを検討する。
自動読解システムは、文脈パスへのアクセスを部分的にあるいは全く行わずに、ランダムよりもはるかに優れた性能を発揮することが判明した。
論文 参考訳（メタデータ） (2023-07-03T14:55:02Z) - Asking It All: Generating Contextualized Questions for any Semantic Role [56.724302729493594]
本稿では,役割質問生成の課題について紹介する。
このタスクの2段階モデルを開発し、まず、各ロールに対する文脈に依存しない質問プロトタイプを作成する。
我々の評価は、述語と役割の大規模かつ広範な包括的領域に対して、多種多様でよく形成された質問を生成することを示す。
論文 参考訳（メタデータ） (2021-09-10T12:31:14Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。
本研究は,複数回対話を行う対話型MRCに焦点を当てている。
それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
論文 参考訳（メタデータ） (2020-04-29T07:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。