論文の概要: Reliable Text-to-SQL with Adaptive Abstention

• arxiv url: http://arxiv.org/abs/2501.10858v1
• Date: Sat, 18 Jan 2025 19:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:11.485776
• Title: Reliable Text-to-SQL with Adaptive Abstention
• Title（参考訳）: Reliable Text-to-SQL with Adaptive Abstention
• Authors: Kaiwen Chen, Yueting Chen, Xiaohui Yu, Nick Koudas,
• Abstract要約: 本稿では,提案手法を組み込むことにより,クエリ生成の信頼性を向上させる新しいフレームワークを提案する。 我々はBIRDベンチマークの総合的な実験を通じてアプローチを検証するとともに、堅牢性と信頼性の大幅な向上を実証した。
• 参考スコア（独自算出の注目度）: 21.07332675929629
• License:
• Abstract: Large language models (LLMs) have revolutionized natural language interfaces for databases, particularly in text-to-SQL conversion. However, current approaches often generate unreliable outputs when faced with ambiguity or insufficient context. We present Reliable Text-to-SQL (RTS), a novel framework that enhances query generation reliability by incorporating abstention and human-in-the-loop mechanisms. RTS focuses on the critical schema linking phase, which aims to identify the key database elements needed for generating SQL queries. It autonomously detects potential errors during the answer generation process and responds by either abstaining or engaging in user interaction. A vital component of RTS is the Branching Point Prediction (BPP) which utilizes statistical conformal techniques on the hidden layers of the LLM model for schema linking, providing probabilistic guarantees on schema linking accuracy. We validate our approach through comprehensive experiments on the BIRD benchmark, demonstrating significant improvements in robustness and reliability. Our findings highlight the potential of combining transparent-box LLMs with human-in-the-loop processes to create more robust natural language interfaces for databases. For the BIRD benchmark, our approach achieves near-perfect schema linking accuracy, autonomously involving a human when needed. Combined with query generation, we demonstrate that near-perfect schema linking and a small query generation model can almost match SOTA accuracy achieved with a model orders of magnitude larger than the one we use.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にテキストからSQLへの変換において、データベースの自然言語インタフェースに革命をもたらした。 しかし、現在のアプローチは曖昧さや不十分な状況に直面すると、しばしば信頼性の低いアウトプットを生成する。 本稿では,Reliable Text-to-SQL(RTS)を提案する。 RTSは、SQLクエリを生成するのに必要な重要なデータベース要素を特定することを目的とした、クリティカルスキーマリンクフェーズにフォーカスしている。 回答生成プロセス中の潜在的なエラーを自律的に検出し、ユーザインタラクションの中断または関与によって応答する。 RTS の重要な構成要素は分岐点予測 (BPP) であり、スキーマリンクの精度の確率的保証を提供するために LLM モデルの隠れ層に統計的に適合した手法を利用する。 我々はBIRDベンチマークの総合的な実験を通じてアプローチを検証するとともに、堅牢性と信頼性の大幅な向上を実証した。 この結果から,LLMとHuman-in-the-loopプロセスを組み合わせることで,データベースのより堅牢な自然言語インタフェースを実現する可能性が示唆された。 BIRDベンチマークでは,必要なときに人体を自律的に巻き込んだ,ほぼ完璧なスキーマリンク精度を実現する。 クエリ生成と組み合わせることで、ほぼ完璧なスキーマリンクと小さなクエリ生成モデルが、私たちが使っているものよりも桁違いに大きいモデルオーダーで達成したSOTA精度とほぼ一致することを示す。

関連論文リスト

• Text-to-SQL Calibration: No Need to Ask -- Just Rescale Model Probabilities [20.606333546028516]
  モデルの全シーケンス確率から信頼を得る直接的なベースラインが、最近の手法より優れていることを示す。 2つの広く使われているテキスト・トゥ・チェック・ベンチマークと複数のアーキテクチャで実施された総合的な評価は、様々な校正戦略の有効性に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-23T19:20:24Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Interactive-T2S: Multi-Turn Interactions for Text-to-SQL with Large Language Models [9.914489049993495]
  本稿では,データベースとの直接対話を通じてクエリを生成するフレームワークであるInteractive-T2Sを紹介する。 フレームワーク内のステップワイズ推論プロセスを示すための詳細な例を開発してきた。 BIRD-Devデータセットを用いた実験により,本手法が最先端の成果を達成できたのは2つの例に過ぎなかった。
  論文  参考訳（メタデータ） (2024-08-09T07:43:21Z)
• Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
  オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
  論文  参考訳（メタデータ） (2024-08-06T15:40:32Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Bridging Textual and Tabular Worlds for Fact Verification: A Lightweight, Attention-Based Model [34.1224836768324]
  FEVEROUSは、事実抽出と検証タスクに焦点を当てた、ベンチマークおよび研究イニシアチブである。 本稿では,モダリティ変換の必要性を解消する,単純だが強力なモデルを提案する。 提案手法は,異なるデータ型間の遅延接続を効果的に利用することにより,包括的かつ信頼性の高い検証予測を実現する。
  論文  参考訳（メタデータ） (2024-03-26T03:54:25Z)
• DFIN-SQL: Integrating Focused Schema with DIN-SQL for Superior Accuracy in Large-Scale Databases [0.0]
  本稿では,DIN-composed (Decomposed-In-Context) の革新的な拡張であるDFINを紹介する。 DFINは、不正確な主要なソースであるスキーマリンクエラーに対処することで、テキストからコンポジションへの変換を強化する。 実世界の挑戦的なベンチマークであるBIRDデータセットの評価では、DFINは効率だけでなく精度も向上し、51.69のスコアが得られた。
  論文  参考訳（メタデータ） (2024-03-01T07:14:45Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Proton: Probing Schema Linking Information from Pre-trained Language Models for Text-to-SQL Parsing [66.55478402233399]
  本稿では,ポアンカー距離測定に基づく探索手法を用いて,関係構造を抽出する枠組みを提案する。 スキーマリンクの一般的なルールベース手法と比較して,探索関係は意味的対応をしっかりと捉えることができることがわかった。 我々のフレームワークは3つのベンチマークで最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-06-28T14:05:25Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。