論文の概要: AptMQL-Bench: From Text-to-SQL to Text-to-MQL via Access-Pattern Schema Design and Data-Preserving Migration
- arxiv url: http://arxiv.org/abs/2610.02770v1
- Date: Fri, 02 Oct 2026 03:54:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.20169
- Title: AptMQL-Bench: From Text-to-SQL to Text-to-MQL via Access-Pattern Schema Design and Data-Preserving Migration
- Title(参考訳): AptMQL-Bench:Access-Patternスキーマ設計とデータ保存移行によるText-to-SQLからText-to-MQLへ
- Abstract要約: 私たちはアクセスパターンベースのテキスト-to-MQLベンチマーク(AptMQL-Bench)を構築します。
ドキュメント指向データベース21、自然言語要求3,186、関連するMQLクエリが含まれている。
最も強力なモデルであるクロード・オプス4.5は、外部の知識証拠なしで57.38%の精度と70.34%の精度しか達成していない。
- 参考スコア(独自算出の注目度): 2.0136346739539897
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Document databases such as MongoDB are core infrastructure for modern applications, and natural-language interfaces to them---text-to-MQL---would let non-experts query complex, semi-structured data without mastering the query language. Progress on this task depends on high-quality benchmarks, which are most practically obtained by converting an existing text-to-SQL benchmark to the document setting. Unfortunately, existing efforts rely on heuristics for mechanical conversion: the document schema mirrors the relational foreign-key graph, and each query mirrors its source SQL. As a result in our experiments, these approaches fail to migrate 6 of 21 BIRD databases outright, silently drop up to 25.9\% of rows on others, and yield schemas whose ground-truth queries run over an order of magnitude slower as the data scales. We instead propose a conversion pipeline, driven by coding agents with human-in-the-loop verification, that designs each document schema from expected access patterns and rewrites queries to be MongoDB-native. Applying it to BIRD, we build an access-pattern-based text-to-MQL benchmark (AptMQL-Bench). It includes 21 document-oriented databases, 3,186 natural-language requests, and their associated MQL queries---whose databases are migrated from SQLite without data loss and scale efficiently. The strongest model, Claude Opus 4.5, achieves only 57.38\% accuracy without external knowledge evidence and 70.34\% with it. This indicates that realistic text-to-MQL generation remains challenging.
- Abstract(参考訳): MongoDBのようなドキュメントデータベースは、モダンなアプリケーションの中核的なインフラストラクチャであり、それに対する自然言語インターフェースである--text-to-MQL--は、クエリ言語を習得することなく、専門家でないクエリを複雑に半構造化したデータにする。
このタスクの進捗は、既存のテキストからSQLへのベンチマークをドキュメント設定に変換することで最も現実的に得られる高品質なベンチマークに依存する。
ドキュメントスキーマはリレーショナルな外部キーグラフをミラーし、各クエリはソースSQLをミラーします。
実験の結果、これらの手法は21のBIRDデータベースのうち6つをそのまま移行できず、静かに他のデータベースに25.9 %の行をドロップし、データスケールが遅くなるにつれて、基幹のクエリが桁違いに遅くなるスキーマを生成する。
そこでは、期待されるアクセスパターンから各ドキュメントスキーマを設計し、クエリをMongoDBネイティブに書き換える。
BIRDに適用することで、アクセスパターンベースのテキスト-to-MQLベンチマーク(AptMQL-Bench)を構築します。
これには、21のドキュメント指向データベース、3,186の自然言語リクエスト、およびそれらの関連するMQLクエリが含まれている。
最も強力なモデルであるクロード・オプス4.5は、外部の知識証拠なしで57.38 %の精度と70.34 %の精度しか達成していない。
これは、現実的なテキスト間MQL生成が依然として困難であることを示している。
関連論文リスト
- UniQL: Towards Dialect-Universal Benchmarking for Text-to-SQL [27.963417399820987]
クロスダイアレクト・テキスト・ツー・アセスメントのための人間検証ベンチマークであるUniQLを紹介する。
すべての方言は、同じ意図、一致したスキーマとデータベースの内容を共有し、方言一般化の制御された評価を可能にする。
論文 参考訳(メタデータ) (2026-06-06T07:14:53Z) - SM3-Text-to-Query: Synthetic Multi-Model Medical Text-to-Query Benchmark [4.049028351548513]
異なるデータベースモデルは、クエリの複雑さとパフォーマンスに大きな影響を与えます。
SM3-Text-to-Queryは,最初のマルチモデル医療用テキスト-to-Queryベンチマークである。
論文 参考訳(メタデータ) (2024-11-08T12:27:13Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳(メタデータ) (2023-05-25T17:19:52Z) - Improving Text-to-SQL Semantic Parsing with Fine-grained Query
Understanding [84.04706075621013]
トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。
我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
論文 参考訳(メタデータ) (2022-09-28T21:00:30Z) - SPARQLing Database Queries from Intermediate Question Decompositions [7.475027071883912]
自然言語の質問をデータベースクエリに変換するために、ほとんどのアプローチは、完全に注釈付けされたトレーニングセットに依存している。
データベースの中間問題表現を基盤として,この負担を軽減する。
我々のパイプラインは、自然言語質問を中間表現に変換するセマンティックと、訓練不能なトランスパイラをQLSPARクエリ言語に変換する2つの部分から構成される。
論文 参考訳(メタデータ) (2021-09-13T17:57:12Z) - Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open
Domain Question Answering [78.9863753810787]
世界の知識は構造化データベースに保存されている。
クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
論文 参考訳(メタデータ) (2021-08-05T22:04:13Z) - Database Reasoning Over Text [11.074939080454412]
我々は、最先端のトランスフォーマーモデルが、小さなデータベースに対して非常によく機能していることを示します。
テキストから複数のスパンにまたがるデータベーススタイルのクエリに応答するモジュールアーキテクチャを提案する。
私たちのアーキテクチャは何千もの事実を含むデータベースにスケールしますが、現代のモデルは、何つの事実をエンコードできるかによって制限されています。
論文 参考訳(メタデータ) (2021-06-02T11:09:40Z) - Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic
Parsing [110.97778888305506]
BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。
BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。
本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
論文 参考訳(メタデータ) (2020-12-23T12:33:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。