論文の概要: EvoSchema: Towards Text-to-SQL Robustness Against Schema Evolution
- arxiv url: http://arxiv.org/abs/2603.10697v1
- Date: Wed, 11 Mar 2026 12:10:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-12 16:22:32.934561
- Title: EvoSchema: Towards Text-to-SQL Robustness Against Schema Evolution
- Title（参考訳）: EvoSchema: スキーマ進化に対するテキストからSQLへのロバストネスを目指す
- Authors: Tianshu Zhang, Kun Qian, Siddhartha Sahai, Yuan Tian, Shaddy Garg, Huan Sun, Yunyao Li,
- Abstract要約: 実世界の変化下でのテキスト間パラフレーズシステムの堅牢性の評価と強化を目的とした総合ベンチマークであるEvoを提案する。
Evoを通じて、異なるオープンソースとクローズドソースのLCMにまたがる詳細な評価を行い、列レベルの変化に比べてテーブルレベルの摂動がモデル性能に大きく影響することを明らかにする。
- 参考スコア（独自算出の注目度）: 15.06978610447021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural text-to-SQL models, which translate natural language questions (NLQs) into SQL queries given a database schema, have achieved remarkable performance. However, database schemas frequently evolve to meet new requirements. Such schema evolution often leads to performance degradation for models trained on static schemas. Existing work either mainly focuses on simply paraphrasing some syntactic or semantic mappings among NLQ, DB and SQL, or lacks a comprehensive and controllable way to investigate the model robustness issue under the schema evolution, which is insufficient when facing the increasingly complex and rich database schema changes in reality, especially in the LLM era. To address the challenges posed by schema evolution, we present EvoSchema, a comprehensive benchmark designed to assess and enhance the robustness of text-to-SQL systems under real-world schema changes. EvoSchema introduces a novel schema evolution taxonomy, encompassing ten perturbation types across columnlevel and table-level modifications, systematically simulating the dynamic nature of database schemas. Through EvoSchema, we conduct an in-depth evaluation spanning different open source and closed-source LLMs, revealing that table-level perturbations have a significantly greater impact on model performance compared to column-level changes. Furthermore, EvoSchema inspires the development of more resilient text-to-SQL systems, in terms of both model training and database design. The models trained on EvoSchema's diverse schema designs can force the model to distinguish the schema difference for the same questions to avoid learning spurious patterns, which demonstrate remarkable robustness compared to those trained on unperturbed data on average. This benchmark offers valuable insights into model behavior and a path forward for designing systems capable of thriving in dynamic, real-world environments.
- Abstract（参考訳）: 自然言語質問(NLQ)をデータベーススキーマからSQLクエリに変換するニューラルテキストからSQLモデルでは,優れたパフォーマンスを実現している。
しかし、データベーススキーマは新しい要件を満たすために頻繁に進化する。
このようなスキーマの進化は、静的スキーマでトレーニングされたモデルの性能低下につながることが多い。
既存の作業は主に、NLQ、DB、SQL間の構文マッピングやセマンティックマッピングを単に言い換えることに重点を置いているか、あるいはスキーマの進化の下でモデルロバスト性の問題を研究するための包括的で制御可能な方法が欠如している。
スキーマの進化によって引き起こされる課題に対処するために,実世界のスキーマ変更下でのテキスト間SQLシステムの堅牢性の評価と強化を目的とした,包括的なベンチマークであるEvoSchemaを提案する。
EvoSchemaは、列レベルの10の摂動タイプとテーブルレベルの修正を含む、新しいスキーマ進化の分類を導入し、データベーススキーマの動的性質を体系的にシミュレートする。
EvoSchemaを通じて、異なるオープンソースとクローズドソースのLCMにまたがる詳細な評価を行い、列レベルの変化に比べてテーブルレベルの摂動がモデル性能に著しく影響することを明らかにする。
さらに、EvoSchemaはモデルトレーニングとデータベース設計の両方の観点から、よりレジリエントなテキストからSQLシステムの開発を促している。
EvoSchemaの多様なスキーマ設計に基づいてトレーニングされたモデルは、同じ質問に対するスキーマの違いを区別させ、スプリアスパターンの学習を避けることができる。
このベンチマークは、モデル行動に関する貴重な洞察と、動的で現実世界の環境で成長可能なシステムを設計するための道筋を提供する。
関連論文リスト
- PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models [51.42043158297229]
マルチタブラルリレーショナルデータベースをスクラッチから合成するフレームワークであるPluelを紹介する。
ステップバイステップの方法では,(1)有向グラフのスキーマ,(2)二部グラフのテーブル間一次外部キー接続,(3)条件因果機構によるテーブル内の特徴分布をモデル化する。
論文 参考訳（メタデータ） (2026-02-03T21:35:18Z) - EvolSQL: Structure-Aware Evolution for Scalable Text-to-SQL Data Synthesis [25.689983072200047]
Evolは、クエリをよりリッチでセマンティックに多様な形式に進化させる構造対応のデータ合成フレームワークである。
7Bモデルは、データの1/18のみを使用して、はるかに大きなSynデータセットでトレーニングされたモデルよりも優れています。
論文 参考訳（メタデータ） (2026-01-08T12:19:50Z) - Exploring Database Normalization Effects on SQL Generation [0.9256004093538199]
正規化は、自然言語 tosql (NL2) システムにおいて批判的であるが、しばしば見過ごされる要素である。
正規化レベルの異なる合成および実世界のデータセット上で,8つの主要な大言語モデルを評価する。
この結果から,NL2アプリケーションの最適スキーマ設計は,サポートするクエリの種類に依存することが示唆された。
論文 参考訳（メタデータ） (2025-10-02T13:11:30Z) - C2-Evo: Co-Evolving Multimodal Data and Model for Self-Improving Reasoning [78.36259648527401]
C2-Evoは、トレーニングデータとモデル機能の両方を共同で進化させる、自動クローズドループ自己改善フレームワークである。
C2-Evoは、複数の数学的推論ベンチマークにおいて、一定の性能向上が得られることを示す。
論文 参考訳（メタデータ） (2025-07-22T12:27:08Z) - LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。
この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文 参考訳（メタデータ） (2025-06-06T05:14:04Z) - Text2Schema: Filling the Gap in Designing Database Table Structures based on Natural Language [22.15408079332362]
データベースのバックグラウンドを持たない人は、通常、ファイルシステムやExcelデータ管理のようなツールに依存します。
データベースシステムは強力な管理能力を持っているが、ユーザーからの高度な専門知識を必要とする。
論文 参考訳（メタデータ） (2025-03-31T09:39:19Z) - Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。
Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。
実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
論文 参考訳（メタデータ） (2024-10-31T16:34:03Z) - TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。
TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。
以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-10-07T04:15:02Z) - Compound Schema Registry [0.0]
本稿では,複合AIシステムによって促進される一般化スキーマ進化(GSE)の利用を提案する。
このシステムは、スキーマ変更のセマンティクスを解釈するために、LLM(Large Language Models)を使用する。
我々のアプローチには、中間表現としてスキーママッピングを生成するためのタスク固有言語である変換言語(STL)の開発が含まれる。
論文 参考訳（メタデータ） (2024-06-17T05:50:46Z) - MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models
with Metamorphic Testing [11.566463879334862]
MT-Teqlは,テキスト保存モデルの一貫性を評価し,拡張するメタモルフィックテストベースのフレームワークである。
我々のフレームワークは、SOTAモデルから数千の予測エラーを公開し、既存のデータセットを桁違いに拡張し、標準精度を損なうことなく40%以上の矛盾エラーを除去する。
論文 参考訳（メタデータ） (2020-12-21T07:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。