論文の概要: RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented
Large Language Models
- arxiv url: http://arxiv.org/abs/2308.10633v2
- Date: Mon, 16 Oct 2023 09:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 22:57:33.400921
- Title: RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented
Large Language Models
- Title(参考訳): RaLLe: 大規模言語モデルの検索と評価のためのフレームワーク
- Authors: Yasuto Hoshi, Daisuke Miyashita, Youyang Ng, Kento Tatsuno, Yasuhiro
Morioka, Osamu Torii, Jun Deguchi
- Abstract要約: Retrieval-augmented large language model (R-LLMs) は、事前訓練された大きな言語モデル(LLMs)と情報検索システムを組み合わせたものである。
R-LLMを構築するための現在のライブラリは、プロンプトの評価と最適化に十分な透明性を持たず、ハイレベルな抽象化を提供する。
本稿では,知識集約型タスクのためのR-LLMの開発,評価,最適化を容易にするオープンソースフレームワークであるRaLLeを紹介する。
- 参考スコア(独自算出の注目度): 1.6492989697868894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented large language models (R-LLMs) combine pre-trained large
language models (LLMs) with information retrieval systems to improve the
accuracy of factual question-answering. However, current libraries for building
R-LLMs provide high-level abstractions without sufficient transparency for
evaluating and optimizing prompts within specific inference processes such as
retrieval and generation. To address this gap, we present RaLLe, an open-source
framework designed to facilitate the development, evaluation, and optimization
of R-LLMs for knowledge-intensive tasks. With RaLLe, developers can easily
develop and evaluate R-LLMs, improving hand-crafted prompts, assessing
individual inference processes, and objectively measuring overall system
performance quantitatively. By leveraging these features, developers can
enhance the performance and accuracy of their R-LLMs in knowledge-intensive
generation tasks. We open-source our code at https://github.com/yhoshi3/RaLLe.
- Abstract(参考訳): Retrieval-augmented large language model (R-LLMs) は、事前訓練された大言語モデル(LLMs)と情報検索システムを組み合わせて、事実質問の精度を向上させる。
しかし、R-LLMを構築するための現在のライブラリは、検索や生成のような特定の推論プロセス内でプロンプトを評価し最適化するのに十分な透明性を持たず、ハイレベルな抽象化を提供する。
このギャップに対処するため,R-LLMの開発,評価,最適化を容易にするオープンソースのフレームワークであるRaLLeを提案する。
RaLLeを使えば、開発者は簡単にR-LLMを開発、評価でき、手作りのプロンプトを改善し、個々の推論プロセスを評価し、システム全体のパフォーマンスを定量的に測定できる。
これらの機能を活用することで、開発者は知識集約型生成タスクにおけるR-LLMのパフォーマンスと精度を向上させることができる。
ソースコードはhttps://github.com/yhoshi3/RaLLe.comで公開しています。
関連論文リスト
- RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing [0.2302001830524133]
本稿では,検索言語モデル (RALM) に関する総合的な概要の欠如について論じる。
本稿では、Retrievers、Language Models、Augmentationsなど、ALMの本質的なコンポーネントについて論じる。
RALMは、翻訳や対話システムから知識集約アプリケーションまで、様々なタスクにおいて有用性を示す。
論文 参考訳(メタデータ) (2024-04-30T13:14:51Z) - Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。
我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。
本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
論文 参考訳(メタデータ) (2024-03-15T16:30:14Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - BIRCO: A Benchmark of Information Retrieval Tasks with Complex Objectives [2.3420045370973828]
複雑な目的を持つ情報検索タスクのベンチマーク(BIRCO)について述べる。
BIRCOは、多面的ユーザ目的のドキュメントを検索するIRシステムの能力を評価する。
論文 参考訳(メタデータ) (2024-02-21T22:22:30Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳(メタデータ) (2024-01-04T11:27:48Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。