論文の概要: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
- arxiv url: http://arxiv.org/abs/2403.09040v1
- Date: Thu, 14 Mar 2024 02:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 22:07:16.815724
- Title: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
- Title(参考訳): RAGGED:検索拡張システムのインフォームドデザインに向けて
- Authors: Jennifer Hsia, Afreen Shaikh, Zhiruo Wang, Graham Neubig,
- Abstract要約: 本稿では,RAGシステムの解析と最適化を行うRAGGEDフレームワークを紹介する。
エンコーダデコーダとデコーダのみのアーキテクチャにおいて,2つの古典的スパースと高密度検索器,および4つのトップパフォーマンスLMについて検討した。
- 参考スコア(独自算出の注目度): 51.171355532527365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) greatly benefits language models (LMs) by providing additional context for tasks such as document-based question answering (DBQA). Despite its potential, the power of RAG is highly dependent on its configuration, raising the question: What is the optimal RAG configuration? To answer this, we introduce the RAGGED framework to analyze and optimize RAG systems. On a set of representative DBQA tasks, we study two classic sparse and dense retrievers, and four top-performing LMs in encoder-decoder and decoder-only architectures. Through RAGGED, we uncover that different models suit substantially varied RAG setups. While encoder-decoder models monotonically improve with more documents, we find decoder-only models can only effectively use < 5 documents, despite often having a longer context window. RAGGED offers further insights into LMs' context utilization habits, where we find that encoder-decoder models rely more on contexts and are thus more sensitive to retrieval quality, while decoder-only models tend to rely on knowledge memorized during training.
- Abstract(参考訳): Retrieval-augmented Generation (RAG)は、文書ベースの質問応答(DBQA)のようなタスクに追加のコンテキストを提供することで、言語モデル(LM)に大きな恩恵をもたらす。
その可能性にもかかわらず、RAGのパワーはその構成に大きく依存している。
そこで本研究では,RAGシステムの解析と最適化を行うRAGGEDフレームワークを提案する。
代表的DBQAタスクのセットにおいて、エンコーダデコーダとデコーダオンリーアーキテクチャにおける2つの古典的スパースと高密度検索器、および4つのトップパフォーマンスLMについて検討する。
RAGGEDを通して、異なるモデルがRAG設定にかなり適合していることが判明した。
エンコーダ-デコーダモデルは、より多くのドキュメントで単調に改善されるが、デコーダのみのモデルは、多くの場合、より長いコンテキストウィンドウを持つにもかかわらず、事実上5つのドキュメントしか使用できない。
RAGGEDは、LMの文脈利用習慣に関するさらなる洞察を提供する。そこでは、エンコーダ-デコーダモデルの方が文脈に依存しており、従って、検索品質に敏感であるのに対して、デコーダのみのモデルはトレーニング中に記憶された知識に依存する傾向にある。
関連論文リスト
- REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Retrieval Augmented Generation Systems: Automatic Dataset Creation,
Evaluation and Boolean Agent Setup [5.464952345664292]
Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。
本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
論文 参考訳(メタデータ) (2024-02-26T12:56:17Z) - Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus [22.27534528275182]
各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。
提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。
実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Seven Failure Points When Engineering a Retrieval Augmented Generation
System [1.8776685617612472]
RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
論文 参考訳(メタデータ) (2024-01-11T12:04:11Z) - LAMBO: Large Language Model Empowered Edge Intelligence [75.14984953011876]
モバイルエッジコンピューティング(MEC)のための LLM-based Offloading (LAMBO) フレームワークを提案する。
i) 入力埋め込み (IE) オフロードシステムの情報を制約で表現し、学習可能なベクターに高品質でプロンプトする (ii) 深いエンコーダと浅いデコーダを持つ意思決定モジュールである非対称エンコーダデコーダ (AED) モデル、 (iv) エキスパートフィードバック (ALEF) からのアクティブラーニング 動的環境変化に対応しながらAEDのデコーダ部分の微調整に使用できる。
論文 参考訳(メタデータ) (2023-08-29T07:25:42Z) - Task-Aware Specialization for Efficient and Robust Dense Retrieval for
Open-Domain Question Answering [85.08146789409354]
我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。
TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。
実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
論文 参考訳(メタデータ) (2022-10-11T05:33:25Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z) - DAM: Deliberation, Abandon and Memory Networks for Generating Detailed
and Non-repetitive Responses in Visual Dialogue [29.330198609132207]
高品質な応答を生成するための新しい生成復号アーキテクチャを提案する。
このアーキテクチャでは、単語生成は一連の注意に基づく情報選択ステップに分解される。
応答は、意味的正確性を維持しながら、より詳細で反復的でない記述を含む。
論文 参考訳(メタデータ) (2020-07-07T09:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。