論文の概要: PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales

• arxiv url: http://arxiv.org/abs/2106.12373v1
• Date: Wed, 23 Jun 2021 13:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 19:37:34.910864
• Title: PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales
• Title（参考訳）: PALRACE: 人間のデータとラベル付き合理化による包括的データセットを読む
• Authors: Jiajie Zou, Yuran Zhang, Peiqing Jin, Cheng Luo, Xunyi Pan, Nai Ding
• Abstract要約: RACEデータセットから選択した800の項目に対して,人間のラベル付き有理数を用いた新しいMRCデータセットPALRACEを提案する。 また,ラベル付き合理性に基づく質問に対して,参加者に回答を依頼する合理性評価セッションも実施した。
• 参考スコア（独自算出の注目度）: 2.348223150549928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models achieves high performance on machine reading comprehension (MRC) tasks but the results are hard to explain. An appealing approach to make models explainable is to provide rationales for its decision. To facilitate supervised learning of human rationales, here we present PALRACE (Pruned And Labeled RACE), a new MRC dataset with human labeled rationales for 800 passages selected from the RACE dataset. We further classified the question to each passage into 6 types. Each passage was read by at least 26 participants, who labeled their rationales to answer the question. Besides, we conducted a rationale evaluation session in which participants were asked to answering the question solely based on labeled rationales, confirming that the labeled rationales were of high quality and can sufficiently support question answering.
• Abstract（参考訳）: 事前学習された言語モデルは、機械読解(MRC)タスクにおいて高い性能を達成するが、結果は説明が難しい。 モデルを説明するための魅力的なアプローチは、その決定の根拠を提供することである。 本稿では,人間理論の教師付き学習を容易にするために,レースデータセットから選択した800のパスに対して,人間のラベル付き合理性を持つ新しいmrcデータセットであるpalrace(pruned and labeled race)を提案する。 さらに,質問を各項目に6種類に分類した。 各章は少なくとも26人の参加者が読み、質問に答える根拠をラベル付けした。 また,ラベル付き合理性のみに基づいた質問への回答を参加者に依頼し,ラベル付き合理性が高品質であり,質問応答を十分に支援できる合理性評価セッションを実施した。

関連論文リスト

• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• Single-Sentence Reader: A Novel Approach for Addressing Answer Position Bias [0.40792653193642503]
  MRCにおける解答位置バイアスに対処するための新しいアプローチとして,Single-Sentence Readerを提案する。 注目すべきは、私たちが6つの異なるモデルで行った実験において、偏りのあるデータセットでトレーニングされた単一文リーダーは、通常のデータセットでトレーニングされたモデルとほぼ一致した結果を得ることができたことです。
  論文  参考訳（メタデータ） (2023-08-08T20:29:13Z)
• Multi Document Reading Comprehension [0.0]
  読み込み(英語: Reading, RC)とは、ある節または一組の節から質問に答えるタスクである。 自然言語処理(NLP)の分野での最近の試行と実験により、機械が通過中のテキストを処理できることが証明された。
  論文  参考訳（メタデータ） (2022-01-05T16:54:48Z)
• Rationalization through Concepts [27.207067974031805]
  ConRATという,新しい自己解釈モデルを提案する。 高レベルの決定に対する人間の説明は、しばしば鍵となる概念に基づいており、ConRATはドキュメントに記述されているものを想定している。 2つの正規化器がConRATを駆動して解釈可能な概念を構築する。
  論文  参考訳（メタデータ） (2021-05-11T07:46:48Z)
• Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
  我々は,複雑な質問をより単純な質問に分解する手法を提案する。 事前定義された推論テンプレートの指示に従って最終回答を導出する。 我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
  論文  参考訳（メタデータ） (2021-04-05T18:56:56Z)
• An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
  我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。 これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。 この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
  論文  参考訳（メタデータ） (2020-11-28T00:46:43Z)
• Discern: Discourse-Aware Entailment Reasoning Network for Conversational Machine Reading [157.14821839576678]
  Discernは、ドキュメントとダイアログの両方の理解を強化するために、接続を強化し、理解を深める、談話対応の係り受け推論ネットワークである。 実験の結果,意思決定におけるマクロ平均精度78.3%,フォローアップ質問生成における64.0 BLEU1が得られた。
  論文  参考訳（メタデータ） (2020-10-05T07:49:51Z)
• No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension [92.57688872599998]
  本稿では,全ての回答型を体系的に扱う新しい手法を提案する。 特に,2段階の訓練手法を応用し,非解答事例と誤答事例を識別する反射ネットという新しい手法を提案する。 F1スコアはそれぞれ77.2点,64.1点であった。
  論文  参考訳（メタデータ） (2020-09-25T06:57:52Z)
• Explicit Memory Tracker with Coarse-to-Fine Reasoning for Conversational Machine Reading [177.50355465392047]
  本稿では,EMT(Explicit Memory Tracker)を用いた会話機械読取フレームワークを提案する。 我々のフレームワークは、粗大な推論戦略を採用することによって、明確化の質問を生成する。 EMTは74.6%のマイクロ平均決定精度と49.5BLEU4の新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2020-05-26T02:21:31Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。