論文の概要: R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
- arxiv url: http://arxiv.org/abs/2004.01251v1
- Date: Thu, 2 Apr 2020 20:39:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 09:38:41.501095
- Title: R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
- Title(参考訳): R3: 推論プロセスを必要とする要約ベンチマーク
- Authors: Ran Wang, Kun Tao, Dingjie Song, Zhilong Zhang, Xiao Ma, Xi'ao Su,
Xinyu Dai
- Abstract要約: 我々は、構造化されていないテキスト、すなわちテキスト推論表現意味論(TRMR)を推論するための形式主義を導入する。
TRMRは3つのフレーズから構成されており、読みやすい質問に答える推論過程を特徴付けるのに十分である。
textbfReading comprehension benchmark textbfRequiring textbfReasoning process。
- 参考スコア(独自算出の注目度): 23.320171155581175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing question answering systems can only predict answers without explicit
reasoning processes, which hinder their explainability and make us overestimate
their ability of understanding and reasoning over natural language. In this
work, we propose a novel task of reading comprehension, in which a model is
required to provide final answers and reasoning processes. To this end, we
introduce a formalism for reasoning over unstructured text, namely Text
Reasoning Meaning Representation (TRMR). TRMR consists of three phrases, which
is expressive enough to characterize the reasoning process to answer reading
comprehension questions. We develop an annotation platform to facilitate TRMR's
annotation, and release the R3 dataset, a \textbf{R}eading comprehension
benchmark \textbf{R}equiring \textbf{R}easoning processes. R3 contains over 60K
pairs of question-answer pairs and their TRMRs. Our dataset is available at:
\url{http://anonymous}.
- Abstract(参考訳): 既存の質問応答システムは、明示的な推論プロセスなしでしか答えを予測できないため、その説明可能性が損なわれ、自然言語に対する理解と推論の能力が過大評価される。
そこで本研究では,最終的な解答と推論過程を提供するためにモデルを必要とする,新しい読解課題を提案する。
この目的のために,非構造化テキスト,すなわちテキスト推論意味表現(TRMR)を論じる形式論を導入する。
TRMRは3つのフレーズから構成されており、読みやすい質問に答える推論過程を特徴付けるのに十分である。
我々はTRMRのアノテーションを促進するためのアノテーションプラットフォームを開発し、R3データセット、 \textbf{R}eading comprehension benchmark \textbf{R}equiring \textbf{R}easoning processをリリースする。
R3には60K以上の質問応答対とそのTRMRが含まれている。
私たちのデータセットは、下記のとおりです。
関連論文リスト
- Identification of Entailment and Contradiction Relations between Natural Language Sentences: A Neurosymbolic Approach [8.931767102433637]
自然言語推論(NLI)は、自然言語理解の重要な側面である。
RTEへの説明可能なアプローチの必要性に対処するために,テキストを抽象表現に変換する新しいパイプラインを提案する。
次に、AMRグラフを命題論理に変換し、SATソルバを用いて自動推論を行う。
論文 参考訳(メタデータ) (2024-05-02T13:06:24Z) - Widely Interpretable Semantic Representation: Frameless Meaning
Representation for Broader Applicability [10.710058244695128]
本稿では,抽象的意味表現 (AMR) の課題を克服する新しい意味表現 WISeR を提案する。
その強みにもかかわらず、AMRは事前に定義されたセマンティックフレームなしでは言語やドメインに簡単に適用できない。
WISeRとAMR WISeRの両方で1Kの英会話文の新たなコーパスを作成する。
論文 参考訳(メタデータ) (2023-09-12T17:44:40Z) - S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical
Learning [46.787034512390434]
VQA自然言語説明(VQA-NLE)タスクは、自然言語におけるVQAモデルの意思決定プロセスを説明することを目的としている。
自己批判学習(S3C)による半教師付きVQA-NLEを提案する。
S3Cは、報酬に答えることで、解答と合理性の間の論理的整合性を改善することによって、候補説明を評価する。
論文 参考訳(メタデータ) (2023-09-05T11:47:51Z) - STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳(メタデータ) (2023-02-13T22:34:02Z) - Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文 参考訳(メタデータ) (2022-12-08T06:03:38Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-06T17:57:58Z) - Dynamic Semantic Graph Construction and Reasoning for Explainable
Multi-hop Science Question Answering [50.546622625151926]
マルチホップQAのための説明可能性を得ながら,より有効な事実を活用できる新しいフレームワークを提案する。
a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(c) グラフ畳み込みネットワーク(GCN)を利用した事実レベルの関係モデリング,(c) 推論過程の導出を行う。
論文 参考訳(メタデータ) (2021-05-25T09:14:55Z) - Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
我々は,複雑な質問をより単純な質問に分解する手法を提案する。
事前定義された推論テンプレートの指示に従って最終回答を導出する。
我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
論文 参考訳(メタデータ) (2021-04-05T18:56:56Z) - Break It Down: A Question Understanding Benchmark [79.41678884521801]
本稿では,質問に対する質問分解表現(QDMR)について紹介する。
QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。
83万組の質問と彼らのQDMRを含むBreakデータセットをリリースする。
論文 参考訳(メタデータ) (2020-01-31T11:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。