論文の概要: SkillQG: Learning to Generate Question for Reading Comprehension Assessment

• arxiv url: http://arxiv.org/abs/2305.04737v1
• Date: Mon, 8 May 2023 14:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:11:37.558462
• Title: SkillQG: Learning to Generate Question for Reading Comprehension Assessment
• Title（参考訳）: SkillQG: 読みやすさ評価のための質問生成学習
• Authors: Xiaoqiang Wang, Bang Liu, Siliang Tang, Lingfei Wu
• Abstract要約: 本稿では,機械読解モデルの評価と改善を目的とした,制御可能な理解型を用いた質問生成フレームワークを提案する。 まず、階層的なスキルベースのスキーマに基づいて理解型の質問をフレーム化し、その後、スキル条件付き質問生成器として$textttSkillQG$を定式化する。 経験的な結果から、$textttSkillQG$は、品質、妥当性、スキル制御性という点でベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 54.48031346496593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present $\textbf{$\texttt{SkillQG}$}$: a question generation framework with controllable comprehension types for assessing and improving machine reading comprehension models. Existing question generation systems widely differentiate questions by $\textit{literal}$ information such as question words and answer types to generate semantically relevant questions for a given context. However, they rarely consider the $\textit{comprehension}$ nature of questions, i.e. the different comprehension capabilities embodied by different questions. In comparison, our $\texttt{SkillQG}$ is able to tailor a fine-grained assessment and improvement to the capabilities of question answering models built on it. Specifically, we first frame the comprehension type of questions based on a hierarchical skill-based schema, then formulate $\texttt{SkillQG}$ as a skill-conditioned question generator. Furthermore, to improve the controllability of generation, we augment the input text with question focus and skill-specific knowledge, which are constructed by iteratively prompting the pre-trained language models. Empirical results demonstrate that $\texttt{SkillQG}$ outperforms baselines in terms of quality, relevance, and skill-controllability while showing a promising performance boost in downstream question answering task.
• Abstract（参考訳）: 以下に示すのは$\textbf{$\texttt{SkillQG}$}$: 機械読解モデルの評価と改善のための制御可能な理解型を持つ質問生成フレームワークである。 既存の質問生成システムは質問を$\textit{literal}$情報(質問語や回答型など)で広く区別し、与えられたコンテキストに対して意味論的に関連する質問を生成する。 しかし、質問の性質である「\textit{comprehension}$」、すなわち異なる質問によって具現化された異なる理解能力を考えることは滅多にない。 比較として、$\texttt{skillqg}$は、その上に構築された質問応答モデルの能力に対して、きめ細かい評価と改善を調整できます。 具体的には、まず階層的なスキルベースのスキーマに基づいて理解型質問をフレーム化し、次にスキル条件付き質問生成器として$\texttt{SkillQG}$を定式化する。 さらに、生成の制御性を向上させるために、事前学習した言語モデルを反復的に促して構築した、質問焦点とスキル特有の知識による入力テキストを増強する。 実験の結果、$\texttt{SkillQG}$は、下流の質問応答タスクにおいて、期待できるパフォーマンス向上を示しながら、品質、妥当性、スキル制御性においてベースラインを上回ります。

関連論文リスト

• Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
  マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。 生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。 mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T08:10:04Z)
• Improving Question Generation with Multi-level Content Planning [70.37285816596527]
  本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。 具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
  論文  参考訳（メタデータ） (2023-10-20T13:57:01Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• ChatPRCS: A Personalized Support System for English Reading Comprehension based on ChatGPT [3.847982502219679]
  本稿では,ChatPRCSと呼ばれる読解支援システムを提案する。 ChatPRCSは、理解能力予測、質問生成、自動評価などの手法を採用している。
  論文  参考訳（メタデータ） (2023-09-22T11:46:44Z)
• Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion [57.43781399856913]
  この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。 我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。 完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
  論文  参考訳（メタデータ） (2022-10-12T03:53:12Z)
• Automatic question generation based on sentence structure analysis using machine learning approach [0.0]
  本稿では,英語の非構造化テキストから事実質問を生成するための枠組みを紹介する。 文パターンに基づく従来の言語アプローチと、いくつかの機械学習手法を組み合わせる。 フレームワークには、生成された質問の品質を見積もる質問評価モジュールも含まれている。
  論文  参考訳（メタデータ） (2022-05-25T14:35:29Z)
• QRelScore: Better Evaluating Generated Questions with Deeper Understanding of Context-aware Relevance [54.48031346496593]
  我々は、$underlinetextbfRel$evance評価指標のコンテキスト対応評価指標である$textbfQRelScore$を提案する。 BERTやGPT2のような既製の言語モデルに基づいて、QRelScoreは単語レベルの階層マッチングと文レベルのプロンプトベースの生成の両方を採用している。 既存の測定値と比較すると、QRelScoreは人間による判断と高い相関性を持ちながら、敵のサンプルに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-04-29T07:39:53Z)
• Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask [3.470121495099]
  本研究では,推論的質問が重要となる読解のための質問生成(QG)について検討する。 本稿では,従来のデータセットを利用した2段階モデル(HTA-WTA)を提案する。 HTA-WTAモデルでは,深い推論を問うことで,強いSCRSの検証を行う。
  論文  参考訳（メタデータ） (2022-04-06T15:52:24Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。