論文の概要: Utilizing Evidence Spans via Sequence-Level Contrastive Learning for Long-Context Question Answering

• arxiv url: http://arxiv.org/abs/2112.08777v1
• Date: Thu, 16 Dec 2021 10:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 23:13:39.351014
• Title: Utilizing Evidence Spans via Sequence-Level Contrastive Learning for Long-Context Question Answering
• Title（参考訳）: 時系列コントラスト学習によるエビデンススパンの長期質問応答への応用
• Authors: Avi Caciularu, Ido Dagan, Jacob Goldberger, Arman Cohan
• Abstract要約: そこで本研究では,長距離変圧器に追加のシーケンスレベルの目的を持たせるための新しい手法を提案する。 我々は、ファインタニングにおいて、さらにコントラスト的な監視信号を提案することで、これを実現する。 提案した損失は、3種類の強力な長文変換器モデルに対して一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 37.12534242947376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-range transformer models have achieved encouraging results on long-context question answering (QA) tasks. Such tasks often require reasoning over a long document, and they benefit from identifying a set of evidence spans (e.g., sentences) that provide supporting evidence for addressing the question. In this work, we propose a novel method for equipping long-range transformers with an additional sequence-level objective for better identification of supporting evidence spans. We achieve this by proposing an additional contrastive supervision signal in finetuning, where the model is encouraged to explicitly discriminate supporting evidence sentences from negative ones by maximizing the question-evidence similarity. The proposed additional loss exhibits consistent improvements on three different strong long-context transformer models, across two challenging question answering benchmarks - HotpotQA and QAsper.
• Abstract（参考訳）: 長距離トランスフォーマーモデルは、長期文脈質問応答(qa)タスクの結果を奨励している。 このようなタスクは長い文書に対する推論を必要とすることが多く、問題に対処するための証拠を提供する一連の証拠(例:文)を識別する利点がある。 そこで本研究では, 長距離変圧器に追加のシーケンスレベルの目的を持たせるための新しい手法を提案する。 そこで,本モデルでは,疑似証拠類似度を最大化することにより,支持する証拠文と否定的証拠文とを明確に識別することが奨励されている。 提案された損失は、HotpotQAとQAsperの2つの挑戦的な質問応答ベンチマークに対して、3つの強力な長コンテキストトランスフォーマーモデルに対して一貫した改善を示す。

関連論文リスト

• Progressive Evidence Refinement for Open-domain Multimodal Retrieval Question Answering [20.59485758381809]
  現在のマルチモーダル検索質問答えモデルは2つの大きな課題に直面している。 モデルへの入力として圧縮されたエビデンスの特徴を利用すると、エビデンス内の詳細な情報が失われる。 本稿では,これらの問題を緩和するための証拠検索と質問応答のための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-15T01:18:39Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Robustifying Multi-hop QA through Pseudo-Evidentiality Training [28.584236042324896]
  本研究では,正解法を使わずに正しい解答を行うマルチホップ質問応答モデルのバイアス問題について検討する。 そこで本稿では, 正解が正しい証拠によって裏付けられるかどうかを判断し, 明解性を学習するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-07-07T14:15:14Z)
• Reinforcement Learning for Abstractive Question Summarization with Question-aware Semantic Rewards [20.342580435464072]
  本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。 i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。 これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
  論文  参考訳（メタデータ） (2021-07-01T02:06:46Z)
• Complementary Evidence Identification in Open-Domain Question Answering [66.17954897343456]
  オープンドメイン質問応答(QA)における補完的証拠識別の新しい問題を提案する。 この問題は、複雑な質問に答えるために、複数の側面から完全な証拠をカバーする小さな通路を効率的に見つけることを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:04:50Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• Context Modeling with Evidence Filter for Multiple Choice Question Answering [18.154792554957595]
  MCQA(Multi-Choice Question Answering)は、機械読解における課題である。 主な課題は、正しい答えをサポートする与えられたコンテキストから"エビデンス"を抽出することである。 既存の作業は、人間の努力に過度に依存するルールで注釈付きエビデンスや遠方の監督によってこの問題に取り組む。 本稿では,エンコードされた文脈間の関係をモデル化するためのエビデンスフィルタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:53:23Z)
• SRQA: Synthetic Reader for Factoid Question Answering [21.28441702154528]
  我々はSRQAと呼ばれる新しいモデルを導入し、これはFactoid Question AnsweringのためのSynthetic Readerを意味する。 このモデルは,多文書シナリオにおける質問応答システムを3つの側面から強化する。 WebQAデータセット上でSRQAを行い、実験により、我々のモデルが最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-02T13:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。