論文の概要: Challenges in Generalization in Open Domain Question Answering

• arxiv url: http://arxiv.org/abs/2109.01156v1
• Date: Thu, 2 Sep 2021 18:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:07:38.623930
• Title: Challenges in Generalization in Open Domain Question Answering
• Title（参考訳）: オープンドメイン質問応答における一般化の課題
• Authors: Linqing Liu, Patrick Lewis, Sebastian Riedel, Pontus Stenetorp
• Abstract要約: 我々は,異なるレベルと種類の一般化を測る3つのカテゴリに従って,質問を導入し,注釈する。 主な課題は、検索コンポーネントからの誤りのカスケード、質問パターンの頻度、エンティティの頻度である。
• 参考スコア（独自算出の注目度）: 16.63912089965166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on Open Domain Question Answering has shown that there is a large discrepancy in model performance between novel test questions and those that largely overlap with training questions. However, it is as of yet unclear which aspects of novel questions that make them challenging. Drawing upon studies on systematic generalization, we introduce and annotate questions according to three categories that measure different levels and kinds of generalization: training set overlap, compositional generalization (comp-gen), and novel entity generalization (novel-entity). When evaluating six popular parametric and non-parametric models, we find that for the established Natural Questions and TriviaQA datasets, even the strongest model performance for comp-gen/novel-entity is 13.1/5.4% and 9.6/1.5% lower compared to that for the full test set -- indicating the challenge posed by these types of questions. Furthermore, we show that whilst non-parametric models can handle questions containing novel entities, they struggle with those requiring compositional generalization. Through thorough analysis we find that key question difficulty factors are: cascading errors from the retrieval component, frequency of question pattern, and frequency of the entity.
• Abstract（参考訳）: Open Domain Question Answeringに関する最近の研究は、新しいテストの質問とトレーニングの質問と大きく重なり合うものの間に、モデルパフォーマンスに大きな違いがあることを示しています。 しかし、これらの新しい疑問のどの側面が困難であるかはまだ不明である。 体系的一般化の研究に基づいて,学習セットのオーバーラップ,構成的一般化(comp-gen),新しい実体一般化(novel-entity)という,異なるレベルと種類の一般化を計測する3つのカテゴリによる質問を紹介し,注釈する。 6つの一般的なパラメトリックモデルと非パラメトリックモデルを評価する際、確立されたNatural QuestionsとTriviaQAデータセットでは、comp-gen/novel-entityのモデルパフォーマンスが13.1/5.4%、9.6/1.5%も、テストセット全体のモデルよりも低い。 さらに、非パラメトリックモデルは、新しい実体を含む問題を扱うことができるが、構成の一般化を必要とする問題に苦しむことを示す。 網羅的な分析により,検索要素からの誤りのカスケード,質問パターンの頻度,エンティティの頻度といった問題難易度要因が明らかになった。

関連論文リスト

• Multi-Faceted Question Complexity Estimation Targeting Topic Domain-Specificity [0.0]
  本稿では,NLP手法と知識グラフ解析を併用した,ドメイン固有の質問難度推定のための新しいフレームワークを提案する。 本稿では,トピック検索コスト,トピック・サリエンス,トピック・コヒーレンス,トピック・スーパーファシリティの4つの主要なパラメータを紹介する。 これらの特徴を訓練したモデルにより,質問の難易度を予測する手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-23T05:40:35Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training [65.10741459705739]
  本稿では,数学的問題表現,すなわち QuesCo に対する対照的な事前学習手法を提案する。 まず、コンテンツレベルと構造レベルを含む2段階の質問強化を設計し、類似した目的で文字通り多様な質問ペアを生成する。 そこで我々は,知識概念の階層的情報を完全に活用するために,知識階層を意識したランク戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T14:23:29Z)
• "What makes a question inquisitive?" A Study on Type-Controlled Inquisitive Question Generation [35.87102025753666]
  質問生成のためのタイプ制御フレームワークを提案する。 私たちは、ソーステキストから描画しながら、特定のタイプに固執する様々な質問を生成します。 また、生成した集合から1つの質問を選択する戦略についても検討する。
  論文  参考訳（メタデータ） (2022-05-17T02:05:50Z)
• Mixture of Experts for Biomedical Question Answering [34.92691831878302]
  そこで我々はMOEBQAと呼ばれるMixture-of-Expert (MoE)ベースの質問応答手法を提案する。 MoEBQAはスパースルーティングによって異なるタイプの質問の計算を分離する。 実検に基づいて構築した3つのバイオメディカル質問応答(BQA)データセットのMOEBQAを評価する。
  論文  参考訳（メタデータ） (2022-04-15T14:11:40Z)
• Controllable Open-ended Question Generation with A New Question Type Ontology [6.017006996402699]
  複数の文で通常答えられるオープンエンドな質問を生成するという,探索の少ない課題について検討する。 まず、広く使われている質問語よりも、質問のニュアンスの性質をよりよく区別する新しい質問型オントロジーを定義する。 次に,意味グラフ表現によって拡張された質問型認識型質問生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-01T00:02:03Z)
• Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
  質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。 具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。 2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2021-04-18T06:17:54Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。