論文の概要: $R^3$-NL2GQL: A Hybrid Models Approach for for Accuracy Enhancing and
Hallucinations Mitigation
- arxiv url: http://arxiv.org/abs/2311.01862v1
- Date: Fri, 3 Nov 2023 12:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 14:23:16.943507
- Title: $R^3$-NL2GQL: A Hybrid Models Approach for for Accuracy Enhancing and
Hallucinations Mitigation
- Title(参考訳): R^3$-NL2GQL: 精度向上と幻覚軽減のためのハイブリッドモデルアプローチ
- Authors: Yuhang Zhou and He Yu and Siyu Tian and Dan Chen and Liuzhi Zhou and
Xinlin Yu and Chuanjun Ji and Sen Liu and Guangnan Ye and Hongfeng Chai
- Abstract要約: R3-NL2GQLは、より小型で大型のFoundation Modelsをリランカー、リライター、精錬機として採用している。
我々は、グラフデータベースドキュメントとオープンソースの知識グラフ(KG)から派生したバイリンガルデータセットを作成しました。
- 参考スコア(独自算出の注目度): 5.516657765066864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While current NL2SQL tasks constructed using Foundation Models have achieved
commendable results, their direct application to Natural Language to Graph
Query Language (NL2GQL) tasks poses challenges due to the significant
differences between GQL and SQL expressions, as well as the numerous types of
GQL. Our extensive experiments reveal that in NL2GQL tasks, larger Foundation
Models demonstrate superior cross-schema generalization abilities, while
smaller Foundation Models struggle to improve their GQL generation capabilities
through fine-tuning. However, after fine-tuning, smaller models exhibit better
intent comprehension and higher grammatical accuracy. Diverging from rule-based
and slot-filling techniques, we introduce R3-NL2GQL, which employs both smaller
and larger Foundation Models as reranker, rewriter and refiner. The approach
harnesses the comprehension ability of smaller models for information reranker
and rewriter, and the exceptional generalization and generation capabilities of
larger models to transform input natural language queries and code structure
schema into any form of GQLs. Recognizing the lack of established datasets in
this nascent domain, we have created a bilingual dataset derived from graph
database documentation and some open-source Knowledge Graphs (KGs). We tested
our approach on this dataset and the experimental results showed that delivers
promising performance and robustness.Our code and dataset is available at
https://github.com/zhiqix/NL2GQL
- Abstract(参考訳): 現在のNL2SQLタスクはFoundation Modelsを使用して構築されているが、自然言語からグラフクエリ言語(NL2GQL)への直接的な適用は、GQLとSQL式と、さまざまなタイプのGQLとの大きな違いから、課題を引き起こしている。
我々の広範な実験によると、NL2GQLタスクでは、より大きなファウンデーションモデルが優れたスキーマ間一般化能力を示し、小さなファウンデーションモデルは微調整によってGQL生成能力を改善するのに苦労している。
しかし、微調整後、より小さなモデルはより優れた意図理解と文法的精度を示す。
R3-NL2GQLは,ルールベースとスロットフィリング技術から切り離され,より小型かつ大規模のファンデーションモデルの両方をリランカ,リライタ,精錬機として採用する。
このアプローチは、インフォメーションリランカとリライターのための小さなモデルの理解能力と、入力された自然言語クエリとコード構造スキーマを任意の形式でGQLに変換するための、より大きなモデルの例外的な一般化と生成能力を活用する。
この初期段階のドメインに確立されたデータセットがないことを認識し、グラフデータベースドキュメントとオープンソースの知識グラフ(KG)から派生したバイリンガルデータセットを作成しました。
このデータセット上でこのアプローチをテストした結果、有望なパフォーマンスと堅牢性が得られた。コードとデータセットはhttps://github.com/zhiqix/nl2gqlで利用可能である。
関連論文リスト
- NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。
NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
論文 参考訳(メタデータ) (2024-04-03T01:09:41Z) - Aligning Large Language Models to a Domain-specific Graph Database [17.471804607532732]
本研究では,NLGQLデータペアを自己インストラクト付きグラフDBに基づいて,適切に定義したパイプラインを提案する。
ファイナンスドメインと医療ドメイン,すなわちFinGQLとMediGQLのグラフDBから得られた2つの構築データセットについて,本手法の評価を行った。
論文 参考訳(メタデータ) (2024-02-26T13:46:51Z) - Generative Representational Instruction Tuning [89.76840377003178]
GritLM 7B がMassive Text Embedding Benchmark (MTEB) に新たな技術状況を設定する
GritLM 8x7Bは、私たちが試したすべてのオープンな生成言語モデルよりも優れています。
論文 参考訳(メタデータ) (2024-02-15T12:12:19Z) - SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question
Answering over a Life Science Knowledge Graph [0.0]
生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。
本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。
また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
論文 参考訳(メタデータ) (2024-02-07T07:24:01Z) - Dynamic Retrieval-Augmented Generation [4.741884506444161]
動的検索・拡張生成(DRAG)のための新しい手法を提案する。
DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。
提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
論文 参考訳(メタデータ) (2023-12-14T14:26:57Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。
PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。
GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
論文 参考訳(メタデータ) (2021-04-12T21:24:02Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - IGSQL: Database Schema Interaction Graph Based Neural Model for
Context-Dependent Text-to-SQL Generation [61.09660709356527]
本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。
ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
論文 参考訳(メタデータ) (2020-11-11T12:56:21Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳(メタデータ) (2020-10-05T19:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。