論文の概要: Are Large Language Models Fit For Guided Reading?
- arxiv url: http://arxiv.org/abs/2305.10645v1
- Date: Thu, 18 May 2023 02:03:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 17:31:05.377580
- Title: Are Large Language Models Fit For Guided Reading?
- Title(参考訳): 大規模言語モデルは読み書きに適したのか?
- Authors: Peter Ochieng
- Abstract要約: 本稿では,大規模言語モデルが教育指導読解に参加する能力について考察する。
入力テキストから意味のある質問を生成し、多様な質問を生成し、学生が再読むべきテキストの一部を推薦する能力を評価する。
- 参考スコア(独自算出の注目度): 6.85316573653194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper looks at the ability of large language models to participate in
educational guided reading. We specifically, evaluate their ability to generate
meaningful questions from the input text, generate diverse questions both in
terms of content coverage and difficulty of the questions and evaluate their
ability to recommend part of the text that a student should re-read based on
the student's responses to the questions. Based on our evaluation of ChatGPT
and Bard, we report that,
1) Large language models are able to generate high quality meaningful
questions that have high correlation with the input text, 2) They generate
diverse question that cover most topics in the input text even though this
ability is significantly degraded as the input text increases, 3)The large
language models are able to generate both low and high cognitive questions even
though they are significantly biased toward low cognitive question, 4) They are
able to effectively summarize responses and extract a portion of text that
should be re-read.
- Abstract(参考訳): 本稿では,大規模言語モデルが教育指導読解に参加する能力について考察する。
具体的には、入力テキストから有意義な質問を生成する能力を評価し、内容のカバレッジと質問の難易度の両方から多様な質問を生成し、質問に対する学生の回答に基づいて学生が再読みすべきテキストの一部を推薦する能力を評価する。
chatgpt と bard の評価に基づいて,1) 大きな言語モデルでは,入力テキストと高い相関関係を持つ高品質な有意義な質問を生成できる,と報告した。
2) この能力は入力テキストの増加に伴って著しく低下するが,入力テキストのほとんどのトピックをカバーする多様な質問を生成する。3)大きな言語モデルは,低認知的質問に対して著しく偏りがあるにもかかわらず,低認知的質問と高認知的質問の両方を生成することができる。4) 応答を効果的に要約し,読み直すべきテキストの一部を抽出することができる。
関連論文リスト
- How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳(メタデータ) (2024-07-19T13:42:56Z) - CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。
コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。
私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
論文 参考訳(メタデータ) (2024-06-25T17:45:26Z) - Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。
質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
論文 参考訳(メタデータ) (2024-04-16T21:33:05Z) - ChatPRCS: A Personalized Support System for English Reading
Comprehension based on ChatGPT [3.847982502219679]
本稿では,ChatPRCSと呼ばれる読解支援システムを提案する。
ChatPRCSは、理解能力予測、質問生成、自動評価などの手法を採用している。
論文 参考訳(メタデータ) (2023-09-22T11:46:44Z) - Improving Reading Comprehension Question Generation with Data
Augmentation and Overgenerate-and-rank [3.854023945160742]
自動回答対応読解質問生成は、教育活動における学習者支援を拡大する大きな可能性を秘めている。
この設定における重要な技術的課題の1つは、複数の質問があり得るということです。
本研究では,(1)同じ文脈と回答を与えられた多様な質問でトレーニングデータセットを充実させるデータ拡張手法,(2)候補のプールから最適な質問を選択する過剰な生成とランクの手法を提案する。
論文 参考訳(メタデータ) (2023-06-15T04:23:25Z) - Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
この研究は、言語間質問応答の属性を初めて研究したものである。
我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。
回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T17:57:46Z) - Question Generation for Reading Comprehension Assessment by Modeling How
and What to Ask [3.470121495099]
本研究では,推論的質問が重要となる読解のための質問生成(QG)について検討する。
本稿では,従来のデータセットを利用した2段階モデル(HTA-WTA)を提案する。
HTA-WTAモデルでは,深い推論を問うことで,強いSCRSの検証を行う。
論文 参考訳(メタデータ) (2022-04-06T15:52:24Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳(メタデータ) (2020-10-04T19:03:39Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2020-04-30T00:49:14Z) - Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。
本研究は,複数回対話を行う対話型MRCに焦点を当てている。
それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
論文 参考訳(メタデータ) (2020-04-29T07:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。