論文の概要: Auto-Cypher: Improving LLMs on Cypher generation via LLM-supervised generation-verification framework

• arxiv url: http://arxiv.org/abs/2412.12612v2
• Date: Fri, 24 Jan 2025 05:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 16:49:09.609455
• Title: Auto-Cypher: Improving LLMs on Cypher generation via LLM-supervised generation-verification framework
• Title（参考訳）: Auto-Cypher: LLM制御ジェネレーション検証フレームワークによるCypher生成におけるLCMの改善
• Authors: Aman Tiwari, Shiva Krishna Reddy Malay, Vikas Yadav, Masoud Hashemi, Sathwik Tejaswi Madhusudhan,
• Abstract要約: 我々は,Text2Cypherの高品質な合成データを生成するための,自動LLMスーパービジョンパイプラインを提案する。 私たちのCypherデータ生成パイプラインは、Cypherクエリの正確性を保証するための新しい戦略であるLLM-As-Database-Fillerを導入しています。 パイプラインを使用して、高品質なText2Cypherデータを生成します。SynthCypherには、さまざまなドメインにわたる29.8kインスタンスと、さまざまな複雑さを持つクエリが含まれています。
• 参考スコア（独自算出の注目度）: 4.080333216826685
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph databases like Neo4j are gaining popularity for handling complex, interconnected data, over traditional relational databases in modeling and querying relationships. While translating natural language into SQL queries is well-researched, generating Cypher queries for Neo4j remains relatively underexplored. In this work, we present an automated, LLM-Supervised, pipeline to generate high-quality synthetic data for Text2Cypher. Our Cypher data generation pipeline introduces LLM-As-Database-Filler, a novel strategy for ensuring Cypher query correctness, thus resulting in high quality generations. Using our pipeline, we generate high quality Text2Cypher data - SynthCypher containing 29.8k instances across various domains and queries with varying complexities. Training open-source LLMs like LLaMa-3.1-8B, Mistral-7B, and QWEN-7B on SynthCypher results in performance gains of up to 40% on the Text2Cypher test split and 30% on the SPIDER benchmark, adapted for graph databases.
• Abstract（参考訳）: Neo4jのようなグラフデータベースは、モデリングやクエリ関係において、従来のリレーショナルデータベースよりも複雑で相互接続されたデータを扱うことで人気を集めています。 自然言語をSQLクエリに翻訳することはよく研究されているが、Neo4j用のCypherクエリの生成はいまだにあまり研究されていない。 本研究では,Text2Cypher の高品質な合成データを生成するための,LLM-Supervised パイプラインを提案する。 私たちのCypherデータ生成パイプラインでは,Cypherクエリの正確性を保証する新たな戦略であるLLM-As-Database-Fillerを導入しています。 パイプラインを使用して、高品質なText2Cypherデータを生成します。SynthCypherには、さまざまなドメインにわたる29.8kインスタンスと、さまざまな複雑さを持つクエリが含まれています。 LLaMa-3.1-8B、Mistral-7B、QWEN-7BといったオープンソースのLLMをSynthCypher上でトレーニングすると、Text2Cypherテストの分割で40%、SPIDERベンチマークで30%のパフォーマンス向上がグラフデータベースに適応する。

関連論文リスト

• Text2Cypher: Bridging Natural Language and Graph Databases [0.3774866290142281]
  Text2Cypherは、自然言語クエリをCypherクエリ言語に変換することで、このギャップを埋めることを目指している。 公開されているいくつかのデータセットを合計44,387のインスタンスに組み合わせ、整理し、整理した方法について説明している。
  論文  参考訳（メタデータ） (2024-12-13T11:50:51Z)
• Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
  大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている 本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。 クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T09:11:56Z)
• Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
  本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
  論文  参考訳（メタデータ） (2024-10-29T17:55:00Z)
• Dinkel: Testing Graph Database Engines via State-Aware Query Generation [7.862046740710873]
  グラフデータベース管理システム(GDBMS)は、グラフデータを格納し、操作し、多くのデータ駆動アプリケーションの中核部分を形成する。 信頼性を確保するために、Cypherでクエリを生成することでGDBMSをテストするいくつかの方法が提案されている。 GDBMSのための複雑なCypherクエリを生成するための、新しい状態認識テスト手法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T13:00:24Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• SyntheT2C: Generating Synthetic Data for Fine-Tuning Large Language Models on the Text2Cypher Task [4.556106845296017]
  SyntheT2Cは2つの医療データベースに適用され、合成データセットMedT2Cの作成が完了する。 このデータセットは、Text2CypherタスクのバックボーンLDMのパフォーマンスを効果的に向上させる。 SyntheT2CとMedT2Cデータセットの両方が近くリリースされる。
  論文  参考訳（メタデータ） (2024-06-15T18:43:49Z)
• SynthesizRR: Generating Diverse Datasets with Retrieval Augmentation [55.2480439325792]
  トピック分類,感情分析,トーン検出,ユーモアの6つのデータセットの合成について検討した。 その結果,SynthesizRRは語彙や意味の多様性,人文との類似性,蒸留性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-16T12:22:41Z)
• PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
  スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。 提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
  論文  参考訳（メタデータ） (2024-03-13T02:32:41Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)
• Fine-Tuning Language Models for Context-Specific SQL Query Generation [0.0]
  本稿では,自然言語を tosql クエリに変換するタスクに対して,オープンソースの大規模言語モデル (LLM) を微調整する新しい手法を提案する。 我々は、Snowflake SQLとGoogleの方言に合わせて、合成データセットに基づいて訓練されたsqlクエリ生成に特化したモデルを紹介する。 提案手法では,GPT-4を用いてコンテキスト固有のデータセットを生成し,リソース制約を最適化するためにLoRa技術を用いて3つのオープンソースLCM(Starcoder Plus,Code-Llama,Mistral)を微調整する。 微調整モデルでは、ベースラインGPと比較してゼロショット設定では優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-04T18:04:27Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)
• Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
  最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。 本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-17T02:53:21Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。