論文の概要: Investigating the performance of Retrieval-Augmented Generation and fine-tuning for the development of AI-driven knowledge-based systems
- arxiv url: http://arxiv.org/abs/2403.09727v1
- Date: Tue, 12 Mar 2024 21:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:44:54.580138
- Title: Investigating the performance of Retrieval-Augmented Generation and fine-tuning for the development of AI-driven knowledge-based systems
- Title（参考訳）: 検索機能向上とAI駆動型知識ベースシステムの開発のための微調整
- Authors: Robert Lakatos, Peter Pollner, Andras Hajdu, Tamas Joo,
- Abstract要約: Fine-tuning (FN) と Retrieval-Augmented Generation (RAG) はドメイン適応の実装に使用できる技法である。
GPT-J-6B, OPT-6.7B, LlaMA, LlaMA-2言語モデルにおけるRAGとFNの性能を比較検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of generative large language models (G-LLM) opened up new opportunities for the development of new types of knowledge-based systems similar to ChatGPT, Bing, or Gemini. Fine-tuning (FN) and Retrieval-Augmented Generation (RAG) are the techniques that can be used to implement domain adaptation for the development of G-LLM-based knowledge systems. In our study, using ROUGE, BLEU, METEOR scores, and cosine similarity, we compare and examine the performance of RAG and FN for the GPT-J-6B, OPT-6.7B, LlaMA, LlaMA-2 language models. Based on measurements shown on different datasets, we demonstrate that RAG-based constructions are more efficient than models produced with FN. We point out that connecting RAG and FN is not trivial, because connecting FN models with RAG can cause a decrease in performance. Furthermore, we outline a simple RAG-based architecture which, on average, outperforms the FN models by 16% in terms of the ROGUE score, 15% in the case of the BLEU score, and 53% based on the cosine similarity. This shows the significant advantage of RAG over FN in terms of hallucination, which is not offset by the fact that the average 8% better METEOR score of FN models indicates greater creativity compared to RAG.
- Abstract（参考訳）: 生成型大規模言語モデル(G-LLM)の開発は、ChatGPT、Bing、Geminiのような新しいタイプの知識ベースのシステムを開発する新たな機会を開いた。
Fine-tuning (FN) と Retrieval-Augmented Generation (RAG) は、G-LLMベースの知識システムを開発するためにドメイン適応を実装するために使用できる技術である。
本研究は,ROUGE,BLEU,METEORスコア,コサイン類似度を用いて,GPT-J-6B,OPT-6.7B,LlaMA,LlaMA-2言語モデルにおけるRAGとFNの性能を比較検討した。
異なるデータセットで示される測定結果から,RAGに基づく構造はFNで生成したモデルよりも効率的であることを示す。
RAGモデルとFNモデルとの接続は性能の低下を引き起こす可能性があるので、RAGとFNの接続は簡単ではないと指摘する。
さらに,ROGUEスコアでFNモデルを平均16%上回り,BLEUスコアで15%,コサイン類似度で53%上回る単純なRAGベースアーキテクチャを概説した。
これは、FNモデルにおける平均8%のMETEORスコアがRAGよりも創造性が高いという事実から、幻覚の点でRAGがFNよりも有意な優位性を示している。
関連論文リスト
- Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。
我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。
我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
論文 参考訳（メタデータ） (2024-11-20T20:10:43Z) - Language Model Preference Evaluation with Multiple Weak Evaluators [78.53743237977677]
GED(Preference Graph Ensemble and Denoise)は、複数のモデルベースの評価器を活用して嗜好グラフを構築する新しいアプローチである。
GEDは,モデルランキング,応答選択,モデルアライメントタスクにおいて,ベースライン手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-14T01:57:25Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning [13.112610550392537]
Retrieval-augmented Generation (RAG) は、大規模言語モデルでその精度を高め、外部知識ベースを統合することで幻覚を低減できるフレームワークである。
本稿では,検索品質,拡張推論能力,精巧な数値能力など,総合的な最適化によって強化されたハイブリッドRAGシステムを提案する。
論文 参考訳（メタデータ） (2024-08-09T15:53:55Z) - RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。
本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。
例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
論文 参考訳（メタデータ） (2024-07-02T17:59:17Z) - Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。
我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。
RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳（メタデータ） (2023-09-04T08:28:44Z) - Improving Deep Attractor Network by BGRU and GMM for Speech Separation [0.0]
Deep Attractor Network (DANet) は、音声分離分野における最先端技術である。
本稿では,BLSTMの代わりに双方向ゲーテッドニューラルネットワーク(BGRU)を用いて,単純化された強力なDANetモデルを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:26:53Z) - Adaptive Depth Graph Attention Networks [19.673509341792606]
グラフアテンションネットワーク(GAT)は、グラフ表現のための最も高度な学習アーキテクチャであると考えられている。
層数の増加に伴ってGATモデルの精度が制限される主な要因は,オーバーカッシング現象である。
本稿では,グラフの空間性に基づいた階層数を適応的に選択するGAT変種モデル-ADGATを提案する。
論文 参考訳（メタデータ） (2023-01-16T05:22:29Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。