論文の概要: Evaluating and Enhancing LLMs for Multi-turn Text-to-SQL with Multiple Question Types

• arxiv url: http://arxiv.org/abs/2412.17867v1
• Date: Sat, 21 Dec 2024 10:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:42.030451
• Title: Evaluating and Enhancing LLMs for Multi-turn Text-to-SQL with Multiple Question Types
• Title（参考訳）: 複数質問型マルチターンテキスト・トゥ・SQLにおけるLLMの評価と強化
• Authors: Ziming Guo, Chao Ma, Yinggang Sun, Tiancheng Zhao, Guangyao Wang, Hai Huang,
• Abstract要約: 大規模言語モデル (LLM) は、かなり高度な音声合成システムを備えている。 LLMは、しばしばSQL生成に焦点を合わせ、現実世界の会話クエリの複雑さを無視している。 質問タイプを特定し,適切な回答戦略を決定するために,特殊なエージェントを用いたLLMベースのマルチエージェントフレームワークを提案する。 我々の実験は、このアプローチが会話力学の複雑さをナビゲートするモデルの能力を大幅に向上させることを示した。
• 参考スコア（独自算出の注目度）: 11.391598870596392
• License:
• Abstract: Recent advancements in large language models (LLMs) have significantly advanced text-to-SQL systems. However, most LLM-based methods often narrowly focus on SQL generation, neglecting the complexities of real-world conversational queries. This oversight can lead to unreliable responses, particularly for ambiguous questions that cannot be directly addressed with SQL. To bridge this gap, we propose MMSQL, a comprehensive test suite designed to evaluate the question classification and SQL generation capabilities of LLMs by simulating real-world scenarios with diverse question types and multi-turn Q\&A interactions. Using MMSQL, we assessed the performance of popular LLMs, including both open-source and closed-source models, and identified key factors impacting their performance in such scenarios. Moreover, we introduce an LLM-based multi-agent framework that employs specialized agents to identify question types and determine appropriate answering strategies. Our experiments demonstrate that this approach significantly enhances the model's ability to navigate the complexities of conversational dynamics, effectively handling the diverse and complex nature of user queries.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、テキスト-SQLシステムに大きく進歩している。 しかし、ほとんどの LLM ベースのメソッドは、現実の会話クエリの複雑さを無視して、SQL 生成に狭くフォーカスすることが多い。 この監視は、特にSQLで直接対応できない曖昧な質問に対して、信頼性の低いレスポンスをもたらす可能性がある。 このギャップを埋めるために,多様な質問型とマルチターンQ\&Aインタラクションを用いた実世界のシナリオをシミュレートすることにより,LLMの質問分類とSQL生成能力を評価するための総合的なテストスイートMMSQLを提案する。 MMSQLを用いて、オープンソースモデルとクローズドソースモデルの両方を含む人気のあるLLMの性能を評価し、そのようなシナリオにおけるそれらのパフォーマンスに影響を及ぼす重要な要因を特定した。 さらに,質問タイプを特定し,適切な回答戦略を決定するために,特殊なエージェントを用いたLLMベースのマルチエージェントフレームワークを提案する。 実験により,本手法は,ユーザクエリの多様かつ複雑な性質を効果的に扱うことにより,対話力学の複雑さをナビゲートするモデルの能力を大幅に向上することを示した。

関連論文リスト

• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL [15.75829309721909]
  自然言語の質問(text-to-)から正確なsqlを生成することは、長年にわたる課題である。 PLMはテキスト・ツー・タスクに利用され、有望な性能を実現している。 近年,大規模言語モデル (LLM) は自然言語理解において重要な機能を示している。
  論文  参考訳（メタデータ） (2024-06-12T17:13:17Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models [46.07900122810749]
  大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。 既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。 我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:42:36Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering [25.57202500348071]
  本研究では、大規模言語モデルがデータベースとどのように相互作用するかを評価するために設計された、新しい長文データベース質問応答データセットを提案する。 このタスクでは、LLMが戦略的に複数のクエリを生成し、データベースから十分なデータを取得し、取得したコンテキストを推論し、それらを総合的な分析的な物語に合成する必要がある。 本稿では2つのインタラクション戦略を提案し評価し、インタラクション内の個々のステージを詳細に分析する。
  論文  参考訳（メタデータ） (2023-11-16T09:55:07Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。