論文の概要: The Chronicles of RAG: The Retriever, the Chunk and the Generator
- arxiv url: http://arxiv.org/abs/2401.07883v1
- Date: Mon, 15 Jan 2024 18:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 16:11:27.588734
- Title: The Chronicles of RAG: The Retriever, the Chunk and the Generator
- Title(参考訳): RAGの年代記:レトリバー、チャンク、発電機
- Authors: Paulo Finardi, Leonardo Avila, Rodrigo Castaldoni, Pedro Gengo, Celio
Larcher, Marcos Piau, Pablo Costa, Vinicius Carid\'a
- Abstract要約: 本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れたプラクティスを提案する。
我々は最初のハリー・ポッターの本についての質問に答えるための様々な方法を探究する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval Augmented Generation (RAG) has become one of the most popular
paradigms for enabling LLMs to access external data, and also as a mechanism
for grounding to mitigate against hallucinations. When implementing RAG you can
face several challenges like effective integration of retrieval models,
efficient representation learning, data diversity, computational efficiency
optimization, evaluation, and quality of text generation. Given all these
challenges, every day a new technique to improve RAG appears, making it
unfeasible to experiment with all combinations for your problem. In this
context, this paper presents good practices to implement, optimize, and
evaluate RAG for the Brazilian Portuguese language, focusing on the
establishment of a simple pipeline for inference and experiments. We explored a
diverse set of methods to answer questions about the first Harry Potter book.
To generate the answers we used the OpenAI's gpt-4, gpt-4-1106-preview,
gpt-3.5-turbo-1106, and Google's Gemini Pro. Focusing on the quality of the
retriever, our approach achieved an improvement of MRR@10 by 35.4% compared to
the baseline. When optimizing the input size in the application, we observed
that it is possible to further enhance it by 2.4%. Finally, we present the
complete architecture of the RAG with our recommendations. As result, we moved
from a baseline of 57.88% to a maximum relative score of 98.61%.
- Abstract(参考訳): Retrieval Augmented Generation (RAG)は、LLMが外部データにアクセスできるようにするための最も一般的なパラダイムの1つであり、幻覚を緩和するための基盤となるメカニズムでもある。
RAGを実装する際には、効率的な検索モデルの統合、効率的な表現学習、データの多様性、計算効率の最適化、評価、テキスト生成の品質といった課題に直面します。
これらすべての課題を考えると、ragを改善する新しいテクニックが毎日登場し、問題に対してすべての組み合わせを試すことは不可能です。
本稿では,ブラジルポルトガル語のRAGの実装,最適化,評価を行うための優れた実践について述べる。
ハリー・ポッターの最初の本について、様々な質問に答える方法を探求した。
OpenAIのgpt-4、gpt-4-1106-preview、gpt-3.5-turbo-1106、そしてGoogleのGemini Proを使いました。
本手法は,レトリバーの品質に着目し,mr@10をベースラインと比較して35.4%向上させた。
アプリケーション内の入力サイズを最適化すると、さらに2.4%向上できることがわかった。
最後にragの完全なアーキテクチャを推奨事項として紹介する。
その結果,ベースラインは57.88%から98.61%の最大相対スコアに移行した。
関連論文リスト
- Retrieval-Augmented Generation for AI-Generated Content: A Survey [36.577189818885486]
このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。
RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することでAIGC結果を強化する。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
論文 参考訳(メタデータ) (2024-02-29T18:59:01Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - Pinpoint, Not Criticize: Refining Large Language Models via Fine-Grained
Actionable Feedback [65.84061725174269]
誤差タイプ, エラー位置, 重大度レベルという形で, きめ細かな動作可能なフィードバックを利用するための推定時間最適化手法FITOを提案する。
FITOは初期出力から始まり、その後、フィードバックに基づいて改善された出力を生成する改良モデルを介してフィードバックを反復的に組み込む。
中国語とドイツ語の翻訳における0.8と0.7のMetricXゲイン, 4.5と1.8のROUGE-Lゲインをそれぞれ長文QAとトピックの要約で観察し, 改良を1回行った。
論文 参考訳(メタデータ) (2023-11-15T19:52:11Z) - GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval [16.369071865207808]
本稿では,既存のパラダイムの課題を克服する新しいGAR-meets-RAG再帰の定式化を提案する。
鍵となる設計原則は、リライト・検索段階がシステムのリコールを改善し、最終段階が精度を向上させることである。
我々の手法はBEIRベンチマークで新たな最先端性を確立し、8つのデータセットのうち6つでRecall@100とnDCG@10の指標で過去の最高の結果を上回った。
論文 参考訳(メタデータ) (2023-10-31T03:52:08Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳(メタデータ) (2023-10-02T09:47:40Z) - Cumulative Reasoning with Large Language Models [13.401334329806359]
累積推論は、人間の思考過程をエミュレートするために累積的かつ反復的に言語モデルを採用する。
論理推論タスクでは、CRは既存のメソッドを最大9.3%上回っている。
24のゲームでは、CRは98%の精度を達成するが、これは従来の最先端手法よりも24%の大幅な向上を示している。
論文 参考訳(メタデータ) (2023-08-08T16:18:20Z) - Improving and Benchmarking Offline Reinforcement Learning Algorithms [87.67996706673674]
この作業は、低レベルの選択とデータセットによって引き起こされるギャップを埋めることを目的としている。
3つの代表アルゴリズムを用いて20の実装選択を実証的に検討する。
CRR+とCQL+の2つの変種がD4RL上で新たな最先端を実現している。
論文 参考訳(メタデータ) (2023-06-01T17:58:46Z) - cTBLS: Augmenting Large Language Models with Conversational Tables [0.76146285961466]
会話表(英語: Conversational Tables、cTBLS)は、検索した表情報に基づいて対話応答を検索して生成する3段階アーキテクチャである。
人間の評価者は、cTBLs+80%の時間(コヒーレンシー、流派)を好んでおり、以前の最先端よりも4倍良いと判断する。
論文 参考訳(メタデータ) (2023-03-21T17:04:44Z) - LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark
Suite for Lasso [84.6451154376526]
LassoBenchは、Lassoコミュニティで重要なオープンリサーチトピックに適した、新しいベンチマークスイートである。
我々は5つの最先端HPO法と3つのベースラインを評価し、ベイズ最適化が、特にスパース回帰によく用いられる手法よりも改善できることを実証した。
論文 参考訳(メタデータ) (2021-11-04T12:05:09Z) - Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。
AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。
これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
論文 参考訳(メタデータ) (2021-10-07T16:41:15Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳(メタデータ) (2020-12-25T14:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。