論文の概要: Learning to Explain: Datasets and Models for Identifying Valid Reasoning
Chains in Multihop Question-Answering
- arxiv url: http://arxiv.org/abs/2010.03274v1
- Date: Wed, 7 Oct 2020 08:46:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 22:10:45.999445
- Title: Learning to Explain: Datasets and Models for Identifying Valid Reasoning
Chains in Multihop Question-Answering
- Title（参考訳）: 説明の学習:マルチホップ質問応答における妥当性推論連鎖の同定のためのデータセットとモデル
- Authors: Harsh Jhamtani and Peter Clark
- Abstract要約: コーパス事実から生成された説明に注釈を付ける3つのデータセットを紹介した。
eQASCには、マルチホップ質問応答データセットQASCのための98K以上の説明アノテーションが含まれている。
eQASCの摂動はクラウドソーシングによる摂動によって構築され、一貫性と説明予測モデルの一般化をテストする。
eOBQAは、eQASCでトレーニングされたモデルの一般化をテストするために、OBQAデータセットに説明アノテーションを追加することで構築される。
- 参考スコア（独自算出の注目度）: 28.67167530758428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the rapid progress in multihop question-answering (QA), models still
have trouble explaining why an answer is correct, with limited explanation
training data available to learn from. To address this, we introduce three
explanation datasets in which explanations formed from corpus facts are
annotated. Our first dataset, eQASC, contains over 98K explanation annotations
for the multihop question answering dataset QASC, and is the first that
annotates multiple candidate explanations for each answer. The second dataset
eQASC-perturbed is constructed by crowd-sourcing perturbations (while
preserving their validity) of a subset of explanations in QASC, to test
consistency and generalization of explanation prediction models. The third
dataset eOBQA is constructed by adding explanation annotations to the OBQA
dataset to test generalization of models trained on eQASC. We show that this
data can be used to significantly improve explanation quality (+14% absolute F1
over a strong retrieval baseline) using a BERT-based classifier, but still
behind the upper bound, offering a new challenge for future research. We also
explore a delexicalized chain representation in which repeated noun phrases are
replaced by variables, thus turning them into generalized reasoning chains (for
example: "X is a Y" AND "Y has Z" IMPLIES "X has Z"). We find that generalized
chains maintain performance while also being more robust to certain
perturbations.
- Abstract（参考訳）: マルチホップ質問処理(qa:multihop question-answering)の急速な進展にもかかわらず、モデルはまだ答えが正しい理由を説明するのに苦労している。
そこで本研究では,コーパス事実から作成した説明文に注釈を付ける3つの説明データセットを提案する。
最初のデータセットeQASCは、マルチホップ質問応答データセットQASCの98K以上の説明アノテーションを含み、各回答に対して複数の候補説明を注釈付けする最初のデータセットです。
第2のデータセットeQASCの摂動は、QASCにおける説明のサブセットのクラウドソーシング摂動(有効性を保ったまま)によって構築され、説明予測モデルの一貫性と一般化をテストする。
第3のデータセットeOBQAは、eQASCでトレーニングされたモデルの一般化をテストするために、OBQAデータセットに説明アノテーションを追加することで構成される。
本研究では,BERTを用いた分類器を用いて解析品質(+14%の絶対F1)を著しく向上させることが可能であるが,その上層部はいまだに遅れており,今後の研究に新たな課題が提示されている。
また、反復名詞句を変数に置き換え、一般化された推論チェイン(例えば「xはyであり、yはzである」は「xはzを持つ」を意味する)に変換する語彙化チェイン表現についても検討する。
一般化連鎖は、ある摂動に対してより堅牢であると同時に、性能を維持している。
関連論文リスト
- GSQA: An End-to-End Model for Generative Spoken Question Answering [54.418723701886115]
本稿では,システムに抽象的推論を強制するGSQA(Generative Spoken Question Answering)モデルを提案する。
本モデルでは, 抽出QAデータセットにおいて, 従来の抽出モデルよりも3%上回っている。
我々のGSQAモデルは、幅広い質問に一般化する可能性を示し、それによって、抽象的QAの音声質問応答能力をさらに拡張する。
論文 参考訳（メタデータ） (2023-12-15T13:33:18Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-26T14:59:53Z) - Learn to Explain: Multimodal Reasoning via Thought Chains for Science
Question Answering [124.16250115608604]
本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。
また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。
我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
論文 参考訳（メタデータ） (2022-09-20T07:04:24Z) - Improving Unsupervised Question Answering via Summarization-Informed
Question Generation [47.96911338198302]
質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、
我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。
得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
論文 参考訳（メタデータ） (2021-09-16T13:08:43Z) - FeTaQA: Free-form Table Question Answering [33.018256483762386]
FeTaQAは10Kのウィキペディアベースのテーブル、質問、自由形式の回答、テーブルセルペアをサポートする新しいデータセットである。
FeTaQAは、構造化された知識ソースから複数の不連続な事実の検索、推論、および統合後に自由形式のテキスト回答を生成する必要があるため、より困難なテーブル質問回答設定を提供する。
論文 参考訳（メタデータ） (2021-04-01T09:59:40Z) - QED: A Framework and Dataset for Explanations in Question Answering [27.85923397716627]
Google Natural Questionsデータセットのサブセット上に構築されたQED説明のエキスパートアノテートデータセットをリリースする。
有望な結果は、比較的少量のQEDデータのトレーニングが質問応答を改善することを示唆している。
論文 参考訳（メタデータ） (2020-09-08T23:34:18Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。