論文の概要: SF-QA: Simple and Fair Evaluation Library for Open-domain Question Answering

• arxiv url: http://arxiv.org/abs/2101.01910v1
• Date: Wed, 6 Jan 2021 08:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 00:06:30.249356
• Title: SF-QA: Simple and Fair Evaluation Library for Open-domain Question Answering
• Title（参考訳）: SF-QA:オープンドメイン質問応答のためのシンプルで公正な評価ライブラリ
• Authors: Xiaopeng Lu, Kyusong Lee, Tiancheng Zhao
• Abstract要約: オープンドメインQAのためのシンプルで公正な評価フレームワークであるSF-QAを紹介します。 SF-QAフレームワークはパイプラインのオープンドメインQAシステムをモジュール化する。 提案された評価フレームワークは公開されており、誰でもコードや評価に貢献できる。
• 参考スコア（独自算出の注目度）: 17.037882881652617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although open-domain question answering (QA) draws great attention in recent years, it requires large amounts of resources for building the full system and is often difficult to reproduce previous results due to complex configurations. In this paper, we introduce SF-QA: simple and fair evaluation framework for open-domain QA. SF-QA framework modularizes the pipeline open-domain QA system, which makes the task itself easily accessible and reproducible to research groups without enough computing resources. The proposed evaluation framework is publicly available and anyone can contribute to the code and evaluations.
• Abstract（参考訳）: 近年, オープンドメイン質問応答 (QA) が注目されているが, システム全体の構築には大量のリソースが必要であり, 複雑な構成のため, 以前の結果を再現することが困難な場合が多い。 本稿では,オープンドメインQAのためのシンプルで公正な評価フレームワークであるSF-QAを紹介する。 SF-QAフレームワークは、パイプラインのオープンドメインQAシステムをモジュール化する。 提案された評価フレームワークは公開されており、誰でもコードや評価に貢献できる。

関連論文リスト

• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs [3.24692739098077]
  オープンドメイン複合質問回答 (QA) は証拠検索と推論において難しい課題である。 我々は、オープンドメイン設定で、最先端の訓練済み高密度・スパース検索モデルを評価する。 BM25のような遅延相互作用モデルや驚くほど語彙的モデルは、事前訓練された高密度検索モデルと比較してよく機能する。
  論文  参考訳（メタデータ） (2024-06-24T22:09:50Z)
• PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development [24.022050096797606]
  PRIMEQAは、QAの再調査を民主化し、最先端(SOTA)QAメソッドの複製を容易にすることを目的とした、ワンストップのQAレポジトリである。 検索や読解といったコアQA機能と,質問生成などの補助機能をサポートする。 フロントエンドアプリケーションの構築、pub-licベンチマーク上のSOTAメソッドの複製、既存のメソッドの拡張など、さまざまなユースケースのためのエンドツーエンドツールキットとして設計されている。
  論文  参考訳（メタデータ） (2023-01-23T20:43:26Z)
• Better Retrieval May Not Lead to Better Question Answering [59.1892787017522]
  システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。 マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
  論文  参考訳（メタデータ） (2022-05-07T16:59:38Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering [62.88322725956294]
  OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。 Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。 次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
  論文  参考訳（メタデータ） (2021-01-04T04:47:46Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)
• Dense Passage Retrieval for Open-Domain Question Answering [49.028342823838486]
  本研究では,高密度表現のみを用いて検索を実践可能であることを示す。 我々の高密度レトリバーは、上位20経路の精度で9%-19%の絶対値で強力なルセンゼ-BM25システムより優れています。
  論文  参考訳（メタデータ） (2020-04-10T04:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。