論文の概要: "World Knowledge" in Multiple Choice Reading Comprehension

• arxiv url: http://arxiv.org/abs/2211.07040v1
• Date: Sun, 13 Nov 2022 23:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:02:27.989680
• Title: "World Knowledge" in Multiple Choice Reading Comprehension
• Title（参考訳）: 複数選択読解における「世界知識」
• Authors: Adian Liusie, Vatsal Raina, Mark Gales
• Abstract要約: 複数の選択読解システムでは、コンテキストパスにアクセスすることなく、平均的にランダムに答えることが可能である。 本稿では,この観察をテストデザイナのツールとして活用し,特定の質問に対して「世界知識」の使用が許容可能であることを確かめる。 2つの指標が述べられている: パスフリーなシステムが世界知識を用いて質問を識別できるかどうかを測定するオプションの数と、与えられた質問に対する文脈の重要性を測定する文脈的相互情報である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently it has been shown that without any access to the contextual passage, multiple choice reading comprehension (MCRC) systems are able to answer questions significantly better than random on average. These systems use their accumulated "world knowledge" to directly answer questions, rather than using information from the passage. This paper examines the possibility of exploiting this observation as a tool for test designers to ensure that the use of "world knowledge" is acceptable for a particular set of questions. We propose information-theory based metrics that enable the level of "world knowledge" exploited by systems to be assessed. Two metrics are described: the expected number of options, which measures whether a passage-free system can identify the answer a question using world knowledge; and the contextual mutual information, which measures the importance of context for a given question. We demonstrate that questions with low expected number of options, and hence answerable by the shortcut system, are often similarly answerable by humans without context. This highlights that the general knowledge 'shortcuts' could be equally used by exam candidates, and that our proposed metrics may be helpful for future test designers to monitor the quality of questions.
• Abstract（参考訳）: 近年,コンテキストパスへのアクセスがないと,MCRC(Multiple choice read comprehension)システムでは,ランダムな回答が平均よりもはるかに優れていることが示されている。 これらのシステムは、蓄積した「世界知識」を使って、通路からの情報を使わずに、直接質問に答える。 本稿では,この観察をテストデザイナのツールとして活用し,特定の質問に対して「世界知識」の使用が許容可能であることを確認する。 本稿では,システムから活用される「世界知識」のレベルを評価するための情報理論に基づくメトリクスを提案する。 2つの指標が述べられている: パスフリーなシステムが世界知識を用いて質問を識別できるかどうかを測定するオプションの数と、与えられた質問に対する文脈の重要性を測定するコンテキスト相互情報である。 提案手法では, 候補数が少なく, ショートカットシステムによって答えられる質問も, 文脈のない人間でも答えられることがしばしば示されている。 このことは、'ショートカット'という一般的な知識が試験候補でも同じように利用でき、提案した指標が将来のテスト設計者が質問の質を監視するのに役立つことを強調している。

関連論文リスト

• How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
  教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。 言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。 我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
  論文  参考訳（メタデータ） (2024-07-19T13:42:56Z)
• Analyzing Multiple-Choice Reading and Listening Comprehension Tests [0.0]
  本研究は,会話の書き起こしと聞き取りテストに基づいて,コンテキストパスを複数選択で読み取る必要があるかを検討する。 自動読解システムは、文脈パスへのアクセスを部分的にあるいは全く行わずに、ランダムよりもはるかに優れた性能を発揮することが判明した。
  論文  参考訳（メタデータ） (2023-07-03T14:55:02Z)
• Medical Question Understanding and Answering with Knowledge Grounding and Semantic Self-Supervision [53.692793122749414]
  本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。 我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。 システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
  論文  参考訳（メタデータ） (2022-09-30T08:20:32Z)
• Multiple-Choice Question Generation: Towards an Automated Assessment Framework [0.0]
  トランスフォーマーをベースとした事前学習型言語モデルでは,コンテキスト段落から適切な質問を生成する能力が実証されている。 我々は,質問文と可能な回答の両方を文脈段落から生成しなければならない完全自動複数選択質問生成システム(MCQG)に焦点を当てる。
  論文  参考訳（メタデータ） (2022-09-23T19:51:46Z)
• Interactive Question Answering Systems: Literature Review [17.033640293433397]
  対話型質問応答(Interactive Question answering)は、質問応答と対話システムの交差点に存在する、最近提案され、ますます人気が高まっているソリューションである。 ユーザがより多くの質問をできるようにすることで、インタラクティブな質問応答によって、ユーザはシステムと動的に対話し、より正確な結果を受け取ることができる。 本調査は,現在の文献で広く普及している対話型質問応答法の概要を概説する。
  論文  参考訳（メタデータ） (2022-09-04T13:46:54Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• CBench: Towards Better Evaluation of Question Answering Over Knowledge Graphs [3.631024220680066]
  CBenchは,ベンチマークを分析し,質問応答システムを評価するための情報ベンチマークスイートである。 CBenchは、いくつかのきめ細かい言語的、構文的、および質問やクエリの構造的特性に関して、既存のベンチマークを分析するのに使うことができる。
  論文  参考訳（メタデータ） (2021-04-05T15:41:14Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• Difference-aware Knowledge Selection for Knowledge-grounded Conversation Generation [101.48602006200409]
  マルチターン・ナレッジ・グラウンドド・ダイアログのための差分認識型知識選択手法を提案する。 まず、現在のターンで提供される候補知識文と、前のターンで選択された候補知識文との差を計算する。 そして、差分情報を文脈情報と融合または解離させ、最終的な知識選択を容易にする。
  論文  参考訳（メタデータ） (2020-09-20T07:47:26Z)
• Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations [41.74162467619795]
  情報非対称な会話における情報的質問生成の問題について検討する。 実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。 そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-30T00:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。