論文の概要: Relational Database Augmented Large Language Model
- arxiv url: http://arxiv.org/abs/2407.15071v1
- Date: Sun, 21 Jul 2024 06:19:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 19:28:49.213488
- Title: Relational Database Augmented Large Language Model
- Title（参考訳）: リレーショナルデータベース拡張大言語モデル
- Authors: Zongyue Qin, Chen Luo, Zhengyang Wang, Haoming Jiang, Yizhou Sun,
- Abstract要約: 大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
- 参考スコア（独自算出の注目度）: 59.38841050766026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) excel in many natural language processing (NLP) tasks. However, since LLMs can only incorporate new knowledge through training or supervised fine-tuning processes, they are unsuitable for applications that demand precise, up-to-date, and private information not available in the training corpora. This precise, up-to-date, and private information is typically stored in relational databases. Thus, a promising solution is to augment LLMs with the inclusion of relational databases as external memory. This can ensure the timeliness, correctness, and consistency of data, and assist LLMs in performing complex arithmetic operations beyond their inherent capabilities. However, bridging the gap between LLMs and relational databases is challenging. It requires the awareness of databases and data values stored in databases to select correct databases and issue correct SQL queries. Besides, it is necessary for the external memory to be independent of the LLM to meet the needs of real-world applications. We introduce a novel LLM-agnostic memory architecture comprising a database selection memory, a data value memory, and relational databases. And we design an elegant pipeline to retrieve information from it. Besides, we carefully design the prompts to instruct the LLM to maximize the framework's potential. To evaluate our method, we compose a new dataset with various types of questions. Experimental results show that our framework enables LLMs to effectively answer database-related questions, which is beyond their direct ability.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
しかし、LLMはトレーニングや微調整のプロセスを通じてのみ新しい知識を取り入れることができるため、トレーニングコーパスで利用できない正確で最新の、プライベートな情報を要求するアプリケーションには適さない。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
したがって、有望な解決策は、リレーショナルデータベースを外部メモリとして含めることでLCMを拡張することである。
これにより、データのタイムライン、正確性、一貫性が保証され、LLMが固有の能力を超えて複雑な算術演算を行うのを助けることができる。
しかし、LLMとリレーショナルデータベースのギャップを埋めることは難しい。
正しいデータベースを選択し、正しいSQLクエリを発行するために、データベースに格納されているデータベースとデータ値を認識する必要がある。
さらに、現実世界のアプリケーションのニーズを満たすためには、外部メモリをLCMから独立させる必要がある。
本稿では,データベース選択メモリ,データ値メモリ,リレーショナルデータベースを含む新しいLCM非依存メモリアーキテクチャを提案する。
そして、そこから情報を取得するためのエレガントなパイプラインを設計します。
さらに,フレームワークの可能性の最大化を LLM に指示するプロンプトを慎重に設計する。
提案手法を評価するため,様々な種類の質問を新たに作成する。
実験結果から, LLM がデータベース関連質問に対して, 直接の処理能力を超え, 効果的に回答できることが示唆された。
関連論文リスト
- Retrieval-Augmented Personalization for Multimodal Large Language Models [53.304699445700926]
本稿では,MLLMのパーソナライズのためのRAP(Retrieval Augmented Personalization)フレームワークを紹介する。
RAPは、外部データベースを更新することで、リアルタイムの概念編集を可能にする。
RAP-MLLMは、追加の微調整なしで無限の視覚概念に一般化することができる。
論文 参考訳（メタデータ） (2024-10-17T09:10:26Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。
LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。
本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
論文 参考訳（メタデータ） (2024-07-06T18:56:42Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models [46.07900122810749]
大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。
既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。
我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
論文 参考訳（メタデータ） (2024-03-08T12:42:36Z) - Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。
我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-18T09:10:04Z) - LLM-Enhanced Data Management [17.382233123729755]
大規模言語モデル(LLM)は文脈理解において高い一般化性と人間競合能力を示す。
LLMには幻覚、高コスト、複雑なタスクに対する低精度のいくつかの制限がある。
我々は、幻覚を避けつつ、一般化性と高い推論能力を有するLLMDBを設計する。
論文 参考訳（メタデータ） (2024-02-04T23:42:02Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T15:05:16Z) - Querying Large Language Models with SQL [16.383179496709737]
多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。
事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。
本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
論文 参考訳（メタデータ） (2023-04-02T06:58:14Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。