論文の概要: Investigating the performance of Retrieval-Augmented Generation and fine-tuning for the development of AI-driven knowledge-based systems
- arxiv url: http://arxiv.org/abs/2403.09727v1
- Date: Tue, 12 Mar 2024 21:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:44:54.580138
- Title: Investigating the performance of Retrieval-Augmented Generation and fine-tuning for the development of AI-driven knowledge-based systems
- Title(参考訳): 検索機能向上とAI駆動型知識ベースシステムの開発のための微調整
- Authors: Robert Lakatos, Peter Pollner, Andras Hajdu, Tamas Joo,
- Abstract要約: Fine-tuning (FN) と Retrieval-Augmented Generation (RAG) はドメイン適応の実装に使用できる技法である。
GPT-J-6B, OPT-6.7B, LlaMA, LlaMA-2言語モデルにおけるRAGとFNの性能を比較検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of generative large language models (G-LLM) opened up new opportunities for the development of new types of knowledge-based systems similar to ChatGPT, Bing, or Gemini. Fine-tuning (FN) and Retrieval-Augmented Generation (RAG) are the techniques that can be used to implement domain adaptation for the development of G-LLM-based knowledge systems. In our study, using ROUGE, BLEU, METEOR scores, and cosine similarity, we compare and examine the performance of RAG and FN for the GPT-J-6B, OPT-6.7B, LlaMA, LlaMA-2 language models. Based on measurements shown on different datasets, we demonstrate that RAG-based constructions are more efficient than models produced with FN. We point out that connecting RAG and FN is not trivial, because connecting FN models with RAG can cause a decrease in performance. Furthermore, we outline a simple RAG-based architecture which, on average, outperforms the FN models by 16% in terms of the ROGUE score, 15% in the case of the BLEU score, and 53% based on the cosine similarity. This shows the significant advantage of RAG over FN in terms of hallucination, which is not offset by the fact that the average 8% better METEOR score of FN models indicates greater creativity compared to RAG.
- Abstract(参考訳): 生成型大規模言語モデル(G-LLM)の開発は、ChatGPT、Bing、Geminiのような新しいタイプの知識ベースのシステムを開発する新たな機会を開いた。
Fine-tuning (FN) と Retrieval-Augmented Generation (RAG) は、G-LLMベースの知識システムを開発するためにドメイン適応を実装するために使用できる技術である。
本研究は,ROUGE,BLEU,METEORスコア,コサイン類似度を用いて,GPT-J-6B,OPT-6.7B,LlaMA,LlaMA-2言語モデルにおけるRAGとFNの性能を比較検討した。
異なるデータセットで示される測定結果から,RAGに基づく構造はFNで生成したモデルよりも効率的であることを示す。
RAGモデルとFNモデルとの接続は性能の低下を引き起こす可能性があるので、RAGとFNの接続は簡単ではないと指摘する。
さらに,ROGUEスコアでFNモデルを平均16%上回り,BLEUスコアで15%,コサイン類似度で53%上回る単純なRAGベースアーキテクチャを概説した。
これは、FNモデルにおける平均8%のMETEORスコアがRAGよりも創造性が高いという事実から、幻覚の点でRAGがFNよりも有意な優位性を示している。
関連論文リスト
- Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。
我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。
RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳(メタデータ) (2023-09-04T08:28:44Z) - Improving Deep Attractor Network by BGRU and GMM for Speech Separation [0.0]
Deep Attractor Network (DANet) は、音声分離分野における最先端技術である。
本稿では,BLSTMの代わりに双方向ゲーテッドニューラルネットワーク(BGRU)を用いて,単純化された強力なDANetモデルを提案する。
論文 参考訳(メタデータ) (2023-08-07T06:26:53Z) - Challenging the Myth of Graph Collaborative Filtering: a Reasoned and
Reproducibility-driven Analysis [69.46993865095247]
本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。
これらのグラフモデルと従来の協調フィルタリングモデルを比較する。
ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
論文 参考訳(メタデータ) (2023-08-01T09:31:44Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation
using Generative Models [74.43215520371506]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳(メタデータ) (2023-04-19T14:58:27Z) - Adaptive Depth Graph Attention Networks [19.673509341792606]
グラフアテンションネットワーク(GAT)は、グラフ表現のための最も高度な学習アーキテクチャであると考えられている。
層数の増加に伴ってGATモデルの精度が制限される主な要因は,オーバーカッシング現象である。
本稿では,グラフの空間性に基づいた階層数を適応的に選択するGAT変種モデル-ADGATを提案する。
論文 参考訳(メタデータ) (2023-01-16T05:22:29Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - EFSG: Evolutionary Fooling Sentences Generator [5.763228702181544]
Evolutionary Fooling Sentences Generator (EFSG) は、進化的アプローチを用いて構築されたモデルおよびタスクに依存しない敵攻撃アルゴリズムである。
BERT および RoBERTa 上の CoLA および MRPC タスクに EFSG を適用し,性能を比較した。
我々は、元のデータセットでテストした場合、精度を損なうことなく、より強力な改良モデルを得る。
論文 参考訳(メタデータ) (2020-10-12T14:28:48Z) - Missing Features Reconstruction Using a Wasserstein Generative
Adversarial Imputation Network [0.0]
特徴再構成における生成モデルと非生成モデルの使用について実験的に検討した。
任意条件付き生成オートエンコーダ(VAEAC)とGAIN(Generative Adversarial Imputation Network)を生成モデルの代表として研究した。
WGAIN を GAIN のワッサースタイン修飾法として導入し,欠損度が 30% 以下である場合に最も優れた計算モデルであることが判明した。
論文 参考訳(メタデータ) (2020-06-21T11:53:55Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳(メタデータ) (2020-05-06T01:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。