論文の概要: Adversarial Databases Improve Success in Retrieval-based Large Language Models

• arxiv url: http://arxiv.org/abs/2407.14609v1
• Date: Fri, 19 Jul 2024 18:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 21:43:34.182690
• Title: Adversarial Databases Improve Success in Retrieval-based Large Language Models
• Title（参考訳）: 検索型大規模言語モデルにおける辞書データベースの精度向上
• Authors: Sean Wu, Michael Koo, Li Yo Kao, Andy Black, Lesley Blum, Fabien Scalzo, Ira Kurtz,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、モデルが明示的に訓練されていないタスクにおいてLLMの性能を改善する技術である。 Llama 3、Phi-3、Mixtral 8x7b、Zephyr$beta$、Gemma 7B Instructなど、オープンソースのLLMをゼロショットRAGパイプラインでセットアップしました。 敵対的な情報ソースとして、聖書からのテキストとランダムワードの生成したデータベースを用いて比較を行った。
• 参考スコア（独自算出の注目度）: 0.3045901500495719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-source LLMs have shown great potential as fine-tuned chatbots, and demonstrate robust abilities in reasoning and surpass many existing benchmarks. Retrieval-Augmented Generation (RAG) is a technique for improving the performance of LLMs on tasks that the models weren't explicitly trained on, by leveraging external knowledge databases. Numerous studies have demonstrated the effectiveness of RAG to more successfully accomplish downstream tasks when using vector datasets that consist of relevant background information. It has been implicitly assumed by those in the field that if adversarial background information is utilized in this context, that the success of using a RAG-based approach would be nonexistent or even negatively impact the results. To address this assumption, we tested several open-source LLMs on the ability of RAG to improve their success in answering multiple-choice questions (MCQ) in the medical subspecialty field of Nephrology. Unlike previous studies, we examined the effect of RAG in utilizing both relevant and adversarial background databases. We set up several open-source LLMs, including Llama 3, Phi-3, Mixtral 8x7b, Zephyr$\beta$, and Gemma 7B Instruct, in a zero-shot RAG pipeline. As adversarial sources of information, text from the Bible and a Random Words generated database were used for comparison. Our data show that most of the open-source LLMs improve their multiple-choice test-taking success as expected when incorporating relevant information vector databases. Surprisingly however, adversarial Bible text significantly improved the success of many LLMs and even random word text improved test taking ability of some of the models. In summary, our results demonstrate for the first time the countertintuitive ability of adversarial information datasets to improve the RAG-based LLM success.
• Abstract（参考訳）: オープンソースのLLMは、微調整のチャットボットとして大きな可能性を示し、多くの既存のベンチマークを推理し、超越する堅牢な能力を示している。 Retrieval-Augmented Generation (RAG) は、外部知識データベースを活用することで、モデルが明示的に訓練されていないタスクにおけるLLMのパフォーマンスを改善する技術である。 多くの研究が、関連する背景情報からなるベクトルデータセットを使用する場合、下流タスクをよりうまく達成するためのRAGの有効性を実証している。 この文脈において、敵対的背景情報を利用すれば、RAGベースのアプローチが成功すれば、その結果に非存在的あるいは否定的な影響を及ぼすであろうと、この分野の人々は暗黙的に仮定している。 この仮定に対処するため、我々は、RAGが腎学の医学分野における多重選択質問(MCQ)に答えることの成功を改善するために、いくつかのオープンソースのLCMを試験した。 従来の研究とは異なり、RAGが関連する背景データベースと敵対的背景データベースの両方を利用した場合の効果を検討した。 Llama 3、Phi-3、Mixtral 8x7b、Zephyr$\beta$、Gemma 7B Instructなど、オープンソースのLLMをゼロショットRAGパイプラインでセットアップしました。 敵対的な情報ソースとして、聖書からのテキストとランダムワードの生成したデータベースを用いて比較を行った。 我々のデータによると、オープンソースLSMのほとんどは、関連する情報ベクトルデータベースを組み込む際に、期待通り、多点検定の成功を向上している。 しかし、驚くべきことに、敵対的な聖書のテキストは多くのLLMの成功を著しく改善し、ランダムな単語のテキストでさえ、いくつかのモデルのテストテイク能力を改善した。 要約して,本研究は,RAGに基づくLCMの成功を改善するために,敵対的情報データセットの対極的能力を初めて示すものである。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• SURf: Teaching Large Vision-Language Models to Selectively Utilize Retrieved Information [26.049228685973667]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンと自然言語処理の共通点において重要な存在である。 現在、ほとんどのLVLMは検索された情報を選択的に活用するのに苦労しており、無関係または誤解を招く参照に敏感である。 選択的検索情報(SURf)にLVLMを教えるための自己組織化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-21T09:36:14Z)
• Great Memory, Shallow Reasoning: Limits of $k$NN-LMs [71.73611113995143]
  検索とnext-word予測を統合した$k$NN-LMsは、言語モデリングにおいて強力な性能を示している。 この改良された情報リコール能力が、本当に下流の能力に変換されるかどうかを問う。
  論文  参考訳（メタデータ） (2024-08-21T17:59:05Z)
• Retrieval-Augmented Generation for Natural Language Processing: A Survey [25.11304732038443]
  検索強化生成(RAG)は、外部知識データベースを利用して大きな言語モデルを拡張する。 本稿では,RAGの重要技術,特に検索器と検索融合について概説する。 RAGは、自然言語処理のタスクや産業シナリオで使われる。
  論文  参考訳（メタデータ） (2024-07-18T06:06:53Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。