論文の概要: The Chronicles of RAG: The Retriever, the Chunk and the Generator
- arxiv url: http://arxiv.org/abs/2401.07883v1
- Date: Mon, 15 Jan 2024 18:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:11:27.588734
- Title: The Chronicles of RAG: The Retriever, the Chunk and the Generator
- Title（参考訳）: RAGの年代記:レトリバー、チャンク、発電機
- Authors: Paulo Finardi, Leonardo Avila, Rodrigo Castaldoni, Pedro Gengo, Celio
Larcher, Marcos Piau, Pablo Costa, Vinicius Carid\'a
- Abstract要約: 本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。
我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval Augmented Generation (RAG) has become one of the most popular
paradigms for enabling LLMs to access external data, and also as a mechanism
for grounding to mitigate against hallucinations. When implementing RAG you can
face several challenges like effective integration of retrieval models,
efficient representation learning, data diversity, computational efficiency
optimization, evaluation, and quality of text generation. Given all these
challenges, every day a new technique to improve RAG appears, making it
unfeasible to experiment with all combinations for your problem. In this
context, this paper presents good practices to implement, optimize, and
evaluate RAG for the Brazilian Portuguese language, focusing on the
establishment of a simple pipeline for inference and experiments. We explored a
diverse set of methods to answer questions about the first Harry Potter book.
To generate the answers we used the OpenAI's gpt-4, gpt-4-1106-preview,
gpt-3.5-turbo-1106, and Google's Gemini Pro. Focusing on the quality of the
retriever, our approach achieved an improvement of MRR@10 by 35.4% compared to
the baseline. When optimizing the input size in the application, we observed
that it is possible to further enhance it by 2.4%. Finally, we present the
complete architecture of the RAG with our recommendations. As result, we moved
from a baseline of 57.88% to a maximum relative score of 98.61%.
- Abstract（参考訳）: Retrieval Augmented Generation (RAG)は、LLMが外部データにアクセスできるようにするための最も一般的なパラダイムの1つであり、幻覚を緩和するための基盤となるメカニズムでもある。
RAGを実装する際には、効率的な検索モデルの統合、効率的な表現学習、データの多様性、計算効率の最適化、評価、テキスト生成の品質といった課題に直面します。
これらすべての課題を考えると、ragを改善する新しいテクニックが毎日登場し、問題に対してすべての組み合わせを試すことは不可能です。
本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れた実践について述べる。
ハリー・ポッターの最初の本について、様々な質問に答える方法を探求した。
OpenAIのgpt-4、gpt-4-1106-preview、gpt-3.5-turbo-1106、そしてGoogleのGemini Proを使いました。
本手法は,レトリバーの品質に着目し,mr@10をベースラインと比較して35.4%向上させた。
アプリケーション内の入力サイズを最適化すると、さらに2.4%向上できることがわかった。
最後にragの完全なアーキテクチャを推奨事項として紹介する。
その結果,ベースラインは57.88%から98.61%の最大相対スコアに移行した。
関連論文リスト
- Towards Optimizing a Retrieval Augmented Generation using Large Language Model on Academic Data [4.322454918650575]
本研究では,大規模技術大学における各種研究プログラムを対象としたデータ検索に焦点を当てた。
オープンソース(Llama2、Mistralなど)とクローズドソース(GPT-3.5、GPT-4など)の統合を探ることで、ドメイン固有のコンテキストにおけるRAGフレームワークの適用と最適化に関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-11-13T08:43:37Z) - Telco-DPR: A Hybrid Dataset for Evaluating Retrieval Models of 3GPP Technical Specifications [0.8999666725996975]
本稿では,第3世代パートナーシッププロジェクト技術文書を用いた通信分野を対象としたQAシステムを提案する。
テキストとテーブルを組み合わせたハイブリッドデータセットであるTelco-DPRが提示され、一連の合成質問/回答ペアが含まれている。
トップK精度と平均相反ランク(MRR)を用いて、検索モデルの評価と比較を行う。
提案するQAシステムは,改良されたRAGモデルと生成事前学習変換器(GPT)-4を用いて,解答精度を14%向上させる。
論文 参考訳（メタデータ） (2024-10-15T16:37:18Z) - RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。
現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。
RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文 参考訳（メタデータ） (2024-08-21T07:20:48Z) - Optimizing Query Generation for Enhanced Document Retrieval in RAG [53.10369742545479]
大規模言語モデル(LLM)は様々な言語タスクに優れるが、しばしば誤った情報を生成する。
Retrieval-Augmented Generation (RAG) は、正確な応答に文書検索を使用することによってこれを緩和することを目的としている。
論文 参考訳（メタデータ） (2024-07-17T05:50:32Z) - CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。
既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。
このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。
CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
論文 参考訳（メタデータ） (2024-06-07T08:43:07Z) - GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation [5.793298194062544]
我々は,複数のキーワードセットを生成するためのアンサンブルベースのプロンプト手法GenQREnsembleを提案する。
4つのIRベンチマークで評価したところ、GenQREnsembleは相対的なnDCG@10の改善を18%まで、MAPの改善を24%まで改善した。
論文 参考訳（メタデータ） (2024-04-04T18:35:25Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳（メタデータ） (2024-03-22T17:13:46Z) - ChatQA: Surpassing GPT-4 on Conversational QA and RAG [43.34692996785167]
検索強化世代(RAG)と会話型質問応答(QA)においてGPT-4より優れたモデル群であるChatQAを紹介する。
効率的な検索のために,対話型QAに最適化された高密度検索手法を導入する。
提案するChatRAG Benchは、RAG、テーブル関連QA、算術計算、および解決不可能な質問を含むシナリオに関する総合的な評価を含む10のデータセットを含む。
論文 参考訳（メタデータ） (2024-01-18T18:59:11Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳（メタデータ） (2021-10-07T16:41:15Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳（メタデータ） (2020-12-25T14:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。