Fugu-MT 論文翻訳(概要): Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

論文の概要: Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

arxiv url: http://arxiv.org/abs/2410.01782v1
Date: Wed, 2 Oct 2024 17:37:18 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 15:14:33.805674
Title: Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models
Title（参考訳）: Open-RAG: オープンソースの大規模言語モデルによる検索強化推論
Authors: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez,
Abstract要約: Retrieval-Augmented Generation (RAG) は,Large Language Models (LLMs) の実際の精度を高めることが示されている。既存の手法は、抽出された証拠を効果的に活用する際の限定的な推論能力に悩まされることが多い。我々は,オープンソースLLMを用いたRAGにおける推論能力の向上を目的とした,新しいフレームワークであるOpen-RAGを紹介する。
参考スコア（独自算出の注目度）: 23.68266151581951
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) の実際の精度を高めることが示されているが、既存の手法は、検索したエビデンスを効果的に活用する際、特にオープンソース LLM を使用する場合に、限定的な推論能力に悩まされることが多い。このギャップを緩和するために、オープンソースLLMによるRAGの推論能力を高めるために設計された新しいフレームワーク、Open-RAGを導入する。我々のフレームワークは、任意の高密度LCMをパラメータ効率のよい専門家(MoE)モデルに変換し、シングルホップクエリとマルチホップクエリの両方を含む複雑な推論タスクを処理できる。 Open-RAGは、このモデルを訓練して、不適切なように見えるが誤解を招くような、挑戦的な気晴らしをナビゲートする。その結果、Open-RAGは潜在学習を活用し、関連する専門家を動的に選択し、より正確で文脈的に関連する応答のために外部知識を効果的に統合する。さらに,性能向上と推論速度のトレードオフを両立させるためのハイブリッド適応検索手法を提案する。 Llama2-7BをベースとしたOpen-RAGは,ChatGPTやSelf-RAG,Command R+といった最先端のLLMやRAGモデルよりも,知識集約的なタスクで優れていた。私たちはコードとモデルをhttps://openragmoe.github.io/でオープンソース化しています。

関連論文リスト

LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs - No Silver Bullet for LC or RAG Routing [70.35888047551643]
本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文を対象とした2,326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
論文参考訳（メタデータ） (2025-02-14T08:04:22Z)
Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文参考訳（メタデータ） (2025-02-10T04:29:36Z)
FRAG: A Flexible Modular Framework for Retrieval-Augmented Generation based on Knowledge Graphs [17.477161619378332]
両アプローチの利点を相乗化する新しいフレキシブルなモジュール型KG-RAGフレームワークFRAGを提案する。知識グラフの代わりにクエリテキストを使用することで、FRAGは柔軟性を維持しながら検索品質を向上させる。
論文参考訳（メタデータ） (2025-01-17T05:19:14Z)
Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
論文参考訳（メタデータ） (2024-11-11T14:25:37Z)
Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
論文参考訳（メタデータ） (2024-10-28T04:39:32Z)
SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文参考訳（メタデータ） (2024-09-16T01:08:18Z)
RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文参考訳（メタデータ） (2024-08-21T07:20:48Z)
ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
論文参考訳（メタデータ） (2024-02-21T06:04:53Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。