論文の概要: A Study of In-Context-Learning-Based Text-to-SQL Errors

• arxiv url: http://arxiv.org/abs/2501.09310v1
• Date: Thu, 16 Jan 2025 05:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:12:02.181695
• Title: A Study of In-Context-Learning-Based Text-to-SQL Errors
• Title（参考訳）: In-Context-Learning-based Text-to-SQL エラーの検討
• Authors: Jiawei Shen, Chengcheng Wan, Ruoyi Qiao, Jiazhen Zou, Hang Xu, Yuchen Shao, Yueling Zhang, Weikai Miao, Geguang Pu,
• Abstract要約: 本研究は,テキスト・トゥ・コレクト・エラーの総合的研究である。 テキストの正当性エラーは広範囲に及んでおり、29種類の7カテゴリのエラータイプが要約されている。 本稿では,新しいテキスト間エラー検出・修復フレームワークMapleRepairを提案する。
• 参考スコア（独自算出の注目度）: 23.296158301228598
• License:
• Abstract: Large language models (LLMs) have been adopted to perform text-to-SQL tasks, utilizing their in-context learning (ICL) capability to translate natural language questions into structured query language (SQL). However, such a technique faces correctness problems and requires efficient repairing solutions. In this paper, we conduct the first comprehensive study of text-to-SQL errors. Our study covers four representative ICL-based techniques, five basic repairing methods, two benchmarks, and two LLM settings. We find that text-to-SQL errors are widespread and summarize 29 error types of 7 categories. We also find that existing repairing attempts have limited correctness improvement at the cost of high computational overhead with many mis-repairs. Based on the findings, we propose MapleRepair, a novel text-to-SQL error detection and repairing framework. The evaluation demonstrates that MapleRepair outperforms existing solutions by repairing 13.8% more queries with neglectable mis-repairs and 67.4% less overhead.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語質問を構造化クエリ言語(SQL)に変換するICL(In-context Learning)機能を利用して、テキストからSQLまでのタスクを実行するために採用されている。 しかし、このような手法は正当性の問題に直面し、効率的な補修法を必要とする。 本稿では,テキストからSQLへの誤りに関する総合的研究を行う。 本研究は,4つの代表的ICL法,5つの基本補修法,2つのベンチマーク,および2つのLCM設定について検討した。 テキストからSQLへのエラーは広く、29種類のエラータイプを7カテゴリにまとめています。 また, 既存の補修試験では, 高い計算オーバーヘッドを犠牲にし, 誤りが多数発生し, 精度が向上することが確認された。 そこで本研究では,新しいテキストからSQLへのエラー検出・修正フレームワークであるMapleRepairを提案する。 この評価により、MapleRepairは13.8%以上のクエリを無視可能なミスリペアで修復し、オーバーヘッドを67.4%削減することで、既存のソリューションよりも優れていることが示されている。

関連論文リスト

• Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
  知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。 我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。 KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-15T07:51:00Z)
• Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
  本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。 与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。 オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
  論文  参考訳（メタデータ） (2024-10-11T18:22:08Z)
• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• How Far Can We Go with Practical Function-Level Program Repair? [11.71750828464698]
  本稿では,少数ショット学習機構と補修関連情報が機能レベルAPRに及ぼす影響について検討する。 補修関連情報のパワーを活用するために,デュアルLLM フレームワークを採用した LLM ベースの関数レベル APR 手法,すなわち SRepair を提案する。
  論文  参考訳（メタデータ） (2024-04-19T12:14:09Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
  最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
  論文  参考訳（メタデータ） (2023-12-18T14:40:20Z)
• On Repairing Natural Language to SQL Queries [2.5442795971328307]
  テキスト・ツー・ツールが正しいクエリーを返すことができないときの分析を行う。 返されるクエリが正しいクエリに近い場合がよくあります。 突然変異に基づく手法を用いて、これらの故障クエリを修復することを提案する。
  論文  参考訳（メタデータ） (2023-10-05T19:50:52Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Text-to-SQL Error Correction with Language Models of Code [24.743066730684742]
  本稿では,テキストとコーパスの自動誤り訂正モデルの構築方法について検討する。 トークンレベルの編集は文脈外であり、時には曖昧であることに気付き、代わりに節レベルの編集モデルを構築することを提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。