論文の概要: NeuralQA: A Usable Library for Question Answering (Contextual Query
Expansion + BERT) on Large Datasets
- arxiv url: http://arxiv.org/abs/2007.15211v2
- Date: Sat, 28 Nov 2020 03:06:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:13:21.463161
- Title: NeuralQA: A Usable Library for Question Answering (Contextual Query
Expansion + BERT) on Large Datasets
- Title（参考訳）: NeuralQA: 大規模データセット上での質問応答(コンテキストクエリ拡張+BERT)を可能にするライブラリ
- Authors: Victor Dibia
- Abstract要約: NeuralQAは、大規模なデータセットに対する質問回答(QA)のためのライブラリである。
既存のインフラストラクチャ(例えば、HuggingFace Transformers APIでトレーニングされたElasticSearchインスタンスやリーダモデル)と統合され、QAサブタスクに有用なデフォルトを提供する。
NeuralQAのコードとドキュメントはGithubでオープンソースとして公開されている。
- 参考スコア（独自算出の注目度）: 0.6091702876917281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing tools for Question Answering (QA) have challenges that limit their
use in practice. They can be complex to set up or integrate with existing
infrastructure, do not offer configurable interactive interfaces, and do not
cover the full set of subtasks that frequently comprise the QA pipeline (query
expansion, retrieval, reading, and explanation/sensemaking). To help address
these issues, we introduce NeuralQA - a usable library for QA on large
datasets. NeuralQA integrates well with existing infrastructure (e.g.,
ElasticSearch instances and reader models trained with the HuggingFace
Transformers API) and offers helpful defaults for QA subtasks. It introduces
and implements contextual query expansion (CQE) using a masked language model
(MLM) as well as relevant snippets (RelSnip) - a method for condensing large
documents into smaller passages that can be speedily processed by a document
reader model. Finally, it offers a flexible user interface to support workflows
for research explorations (e.g., visualization of gradient-based explanations
to support qualitative inspection of model behaviour) and large scale search
deployment. Code and documentation for NeuralQA is available as open source on
Github (https://github.com/victordibia/neuralqa}{Github).
- Abstract（参考訳）: 既存の質問回答ツール(QA)には、実際にの使用を制限する課題がある。
それらは既存のインフラストラクチャのセットアップや統合が複雑で、構成可能なインタラクティブなインターフェースを提供しておらず、qaパイプライン(クエリの拡張、検索、読み取り、説明/センス作成)を構成するサブタスクの完全なセットをカバーできない。
これらの問題に対処するために、大規模なデータセット上でQAに使用できるライブラリであるNeuralQAを紹介します。
NeuralQAは既存のインフラストラクチャ(例えば、HuggingFace Transformers APIでトレーニングされたElasticSearchインスタンスやリーダモデルなど)とうまく統合されており、QAサブタスクに有用なデフォルトを提供する。
マスク付き言語モデル(MLM)と関連するスニペット(RelSnip)を使ってコンテキストクエリ拡張(CQE)を導入し実装する。
最後に、調査(モデルの振る舞いの質的な検査をサポートするための勾配に基づく説明の可視化など)と大規模検索デプロイメントのためのワークフローをサポートするフレキシブルなユーザインターフェースを提供する。
NeuralQAのコードとドキュメントはGithub(https://github.com/victordibia/neuralqa}{Github)で公開されている。
関連論文リスト
- IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。
本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。
これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
論文 参考訳（メタデータ） (2024-07-15T07:14:56Z) - DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs [3.24692739098077]
オープンドメイン複合質問回答 (QA) は証拠検索と推論において難しい課題である。
我々は、オープンドメイン設定で、最先端の訓練済み高密度・スパース検索モデルを評価する。
BM25のような遅延相互作用モデルや驚くほど語彙的モデルは、事前訓練された高密度検索モデルと比較してよく機能する。
論文 参考訳（メタデータ） (2024-06-24T22:09:50Z) - LibriSQA: A Novel Dataset and Framework for Spoken Question Answering with Large Language Models [21.95962189710859]
本稿では,LibriSQAデータセット上でSpoken Question Answering(SQA)タスクを実行するための軽量なエンドツーエンドフレームワークを提案する。
ASRをSQAフォーマットに書き換えることで、ASRタスクの処理におけるフレームワークの機能をさらに裏付ける。
我々の経験的発見は、多モーダル情報の整合と解釈に対するLLMの適性を高め、ユニバーサル多モーダルLLMの開発への道を開いた。
論文 参考訳（メタデータ） (2023-08-20T23:47:23Z) - A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。
また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
論文 参考訳（メタデータ） (2023-05-27T08:42:37Z) - Long-Tailed Question Answering in an Open World [46.67715607552547]
我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。
OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。
大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2023-05-11T04:28:58Z) - PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question
Answering Research and Development [24.022050096797606]
PRIMEQAは、QAの再調査を民主化し、最先端(SOTA)QAメソッドの複製を容易にすることを目的とした、ワンストップのQAレポジトリである。
検索や読解といったコアQA機能と,質問生成などの補助機能をサポートする。
フロントエンドアプリケーションの構築、pub-licベンチマーク上のSOTAメソッドの複製、既存のメソッドの拡張など、さまざまなユースケースのためのエンドツーエンドツールキットとして設計されている。
論文 参考訳（メタデータ） (2023-01-23T20:43:26Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳（メタデータ） (2022-09-21T01:30:59Z) - Multifaceted Improvements for Conversational Open-Domain Question
Answering [54.913313912927045]
対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。
第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。
第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。
第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
論文 参考訳（メタデータ） (2022-04-01T07:54:27Z) - UKP-SQUARE: An Online Platform for Question Answering Research [50.35348764297317]
我々は、研究者向けのオンラインQAプラットフォームであるUKP-SQUAREを紹介した。
UKP-SQUAREでは、ユーザフレンドリーなWebインターフェースと統合テストを通じて、モダンスキルの大規模なコレクションをクエリし、分析することができる。
論文 参考訳（メタデータ） (2022-03-25T15:00:24Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。