論文の概要: LocalRQA: From Generating Data to Locally Training, Testing, and
Deploying Retrieval-Augmented QA Systems
- arxiv url: http://arxiv.org/abs/2403.00982v1
- Date: Fri, 1 Mar 2024 21:10:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:49:41.906192
- Title: LocalRQA: From Generating Data to Locally Training, Testing, and
Deploying Retrieval-Augmented QA Systems
- Title（参考訳）: localrqa: データ生成からローカルトレーニング、テスト、検索可能なqaシステムのデプロイまで
- Authors: Xiao Yu, Yunan Lu, Zhou Yu
- Abstract要約: LocalRQAは、研究者と開発者がモデルトレーニング、テスト、デプロイメントプロセスをカスタマイズできるオープンソースのツールキットである。
DatabricksとFaireのWebサイトから得られたオンラインドキュメントを使ってシステムを構築します。
OpenAIのtext-adaやGPT-4 QAT-4と比較すると,LocalRQAを用いてトレーニングし,デプロイした7Bモデルと同等の性能を示した。
- 参考スコア（独自算出の注目度）: 22.90963783300522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented question-answering systems combine retrieval techniques
with large language models to provide answers that are more accurate and
informative. Many existing toolkits allow users to quickly build such systems
using off-the-shelf models, but they fall short in supporting researchers and
developers to customize the model training, testing, and deployment process. We
propose LocalRQA, an open-source toolkit that features a wide selection of
model training algorithms, evaluation methods, and deployment tools curated
from the latest research. As a showcase, we build QA systems using online
documentation obtained from Databricks and Faire's websites. We find 7B-models
trained and deployed using LocalRQA reach a similar performance compared to
using OpenAI's text-ada-002 and GPT-4-turbo.
- Abstract（参考訳）: Retrieval-augmented question-anwering systemは、検索技術と大きな言語モデルを組み合わせて、より正確で情報的な回答を提供する。
多くの既存のツールキットは、既製のモデルを使って、すぐにそのようなシステムを構築することができるが、研究者や開発者がモデルトレーニング、テスト、デプロイメントプロセスのカスタマイズを支援するには不足している。
提案するLocalRQAは,最新の研究から得られたモデルトレーニングアルゴリズム,評価手法,デプロイメントツールを幅広く選択したオープンソースツールキットである。
例として、DatabricksとFaireのWebサイトから得られたオンラインドキュメントを使って、QAシステムを構築します。
OpenAIのtext-ada-002 や GPT-4-turbo と比較すると,LocalRQA を用いてトレーニングおよびデプロイした 7B モデルは同様の性能に達する。
関連論文リスト
- InspectorRAGet: An Introspection Platform for RAG Evaluation [14.066727601732625]
InspectorRAGetはRAG評価のためのイントロスペクションプラットフォームである。
ユーザはRAGシステムの集約とインスタンスレベルのパフォーマンスを分析できる。
論文 参考訳（メタデータ） (2024-04-26T11:51:53Z) - Towards MLOps: A DevOps Tools Recommender System for Machine Learning
System [1.065497990128313]
MLOpsと機械学習システムは、要求の従来のシステムとは異なり、新しいデータで進化する。
本稿では,コンテキスト情報を処理するレコメンデーションシステムのためのフレームワークを提案する。
ルールベース,無作為林,決定木およびk-アネレスト近傍の4つの異なるアプローチについて検討した。
論文 参考訳（メタデータ） (2024-02-20T09:57:49Z) - A Practical Toolkit for Multilingual Question and Answer Generation [79.31199020420827]
我々は,マルチ言語QAGのオンラインサービスであるAutoQGと,モデル微調整,生成,評価のためのオールインワンPythonパッケージであるlmqgを紹介した。
また、事前訓練されたエンコーダ-デコーダ言語モデルのいくつかの変種を微調整した8言語でQAGモデルをリリースしています。
論文 参考訳（メタデータ） (2023-05-27T08:42:37Z) - PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question
Answering Research and Development [24.022050096797606]
PRIMEQAは、QAの再調査を民主化し、最先端(SOTA)QAメソッドの複製を容易にすることを目的とした、ワンストップのQAレポジトリである。
検索や読解といったコアQA機能と,質問生成などの補助機能をサポートする。
フロントエンドアプリケーションの構築、pub-licベンチマーク上のSOTAメソッドの複製、既存のメソッドの拡張など、さまざまなユースケースのためのエンドツーエンドツールキットとして設計されている。
論文 参考訳（メタデータ） (2023-01-23T20:43:26Z) - ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data
Format [88.33443450434521]
タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。
TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。
本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
論文 参考訳（メタデータ） (2022-11-30T16:37:42Z) - KGI: An Integrated Framework for Knowledge Intensive Language Tasks [16.511913995069097]
本稿では,他の知識集約型言語タスクに対して,この手法の強化版に基づくシステムを提案する。
我々のシステムは、KILTのリーダーボードで最高のモデルに匹敵する結果を得る。
論文 参考訳（メタデータ） (2022-04-08T10:36:21Z) - UKP-SQUARE: An Online Platform for Question Answering Research [50.35348764297317]
我々は、研究者向けのオンラインQAプラットフォームであるUKP-SQUAREを紹介した。
UKP-SQUAREでは、ユーザフレンドリーなWebインターフェースと統合テストを通じて、モダンスキルの大規模なコレクションをクエリし、分析することができる。
論文 参考訳（メタデータ） (2022-03-25T15:00:24Z) - A Coarse to Fine Question Answering System based on Reinforcement
Learning [48.80863342506432]
本システムは,多段階質問応答を実現するために,アクタ批判に基づく深層強化学習モデルを用いて設計されている。
我々は、WIKEREADING、WIKIREADING LONG、CNN、SQuADの4つのQAデータセットでモデルをテストし、1.3$%$-1.7$%の精度向上と1.5x-3.4xのトレーニングスピードアップを実証した。
論文 参考訳（メタデータ） (2021-06-01T06:41:48Z) - Retrieving and Reading: A Comprehensive Survey on Open-domain Question
Answering [62.88322725956294]
OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。
Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。
次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
論文 参考訳（メタデータ） (2021-01-04T04:47:46Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳（メタデータ） (2020-09-04T15:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。