論文の概要: SituatedQA: Incorporating Extra-Linguistic Contexts into QA

• arxiv url: http://arxiv.org/abs/2109.06157v1
• Date: Mon, 13 Sep 2021 17:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 17:59:15.829243
• Title: SituatedQA: Incorporating Extra-Linguistic Contexts into QA
• Title（参考訳）: SituatedQA: 言語外文脈をQAに組み込む
• Authors: Michael J.Q. Zhang and Eunsol Choi
• Abstract要約: SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。 質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。 我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
• 参考スコア（独自算出の注目度）: 7.495151447459443
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Answers to the same question may change depending on the extra-linguistic contexts (when and where the question was asked). To study this challenge, we introduce SituatedQA, an open-retrieval QA dataset where systems must produce the correct answer to a question given the temporal or geographical context. To construct SituatedQA, we first identify such questions in existing QA datasets. We find that a significant proportion of information seeking questions have context-dependent answers (e.g., roughly 16.5% of NQ-Open). For such context-dependent questions, we then crowdsource alternative contexts and their corresponding answers. Our study shows that existing models struggle with producing answers that are frequently updated or from uncommon locations. We further quantify how existing models, which are trained on data collected in the past, fail to generalize to answering questions asked in the present, even when provided with an updated evidence corpus (a roughly 15 point drop in accuracy). Our analysis suggests that open-retrieval QA benchmarks should incorporate extra-linguistic context to stay relevant globally and in the future. Our data, code, and datasheet are available at https://situatedqa.github.io/ .
• Abstract（参考訳）: 同じ質問に対する回答は、言語外文脈(質問された場所と場所)によって変わる可能性がある。 この課題を研究するために,システムでは時間的あるいは地理的状況に応じて,質問に対する正しい回答を提示しなければならないオープンリトライのqaデータセットであるspositateqaを紹介する。 SituatedQAを構築するために、我々はまず既存のQAデータセットでそのような質問を識別する。 質問を求める情報のかなりの割合は、文脈に依存した回答を持っている(例えば、NQ-Openの約16.5%)。 このようなコンテキスト依存の質問に対して、代替のコンテキストとその回答をクラウドソースします。 既存のモデルでは,頻繁な更新や不定期な場所からの回答の生成に苦労しています。 また,これまでに収集したデータに基づいてトレーニングされた既存モデルが,更新されたエビデンスコーパス(約15ポイントの精度低下)が提供された場合でも,現在質問に対する回答の一般化に失敗していることをさらに定量化する。 我々の分析は、オープン検索のQAベンチマークは、言語外文脈を取り入れて、世界中の将来的な関連性を維持するべきであることを示唆している。 私たちのデータ、コード、データシートはhttps://situatedqa.github.io/で利用可能です。

関連論文リスト

• Retrieving Contextual Information for Long-Form Question Answering using Weak Supervision [23.394961301584026]
  LFQA(Long-form Question answering)は、エンドユーザの質問に対する詳細な回答を生成することを目的としている。 本研究では,文脈情報の検索を最適化するために,様々な弱い監視手法を提案し,比較する。 長文の回答は、しばしばフォローアップの質問を予想することを示している。
  論文  参考訳（メタデータ） (2024-10-11T08:42:02Z)
• Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach [28.849548176802262]
  長文質問応答(LFQA)は,段落の形で詳細な回答を生成するため,課題となる。 本稿では,反復計画,検索,生成を伴うLFQAモデルを提案する。 我々のモデルはLFQAタスクの様々なテキストおよび実測値の最先端モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T21:22:27Z)
• Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
  マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。 生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。 mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T08:10:04Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Question Answering Survey: Directions, Challenges, Datasets, Evaluation Matrices [0.0]
  QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。 これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
  論文  参考訳（メタデータ） (2021-12-07T08:53:40Z)
• ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers [93.55268936974971]
  条件付き回答を含む複雑な質問を含む質問回答データセットについて述べる。 このデータセットを ConditionalQA と呼びます。 本稿では,既存のQAモデルの多く,特に回答条件の選択において,ConditionalQAは困難であることを示す。
  論文  参考訳（メタデータ） (2021-10-13T17:16:46Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)
• AmbigQA: Answering Ambiguous Open-domain Questions [99.59747941602684]
  我々はAmbigQAを紹介した。AmbigQAは、あらゆる可能な答えを見つけることを含む、新しいオープンドメインの質問応答タスクである。 この課題を研究するために,NQ-openから14,042質問をカバーしたデータセットAmbigNQを構築した。 NQオープンの質問の半数以上が曖昧で、イベントやエンティティ参照といった曖昧さの源泉が多様であることがわかった。
  論文  参考訳（メタデータ） (2020-04-22T15:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。