論文の概要: IndicDB -- Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages

• arxiv url: http://arxiv.org/abs/2604.13686v1
• Date: Wed, 15 Apr 2026 10:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.479526
• Title: IndicDB -- Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
• Title（参考訳）: IndicDB -- インド言語における多言語テキスト-SQL機能のベンチマーク
• Authors: Aviral Dawar, Roshan Karanth, Vikram Goyal, Dhruv Kumar,
• Abstract要約: IndicDBは、さまざまなIndic言語間の言語間セマンティック解析を評価するためのベンチマークである。 リレーショナルスキーマは、NDAPやIndia Data Portalなど、オープンソースのプラットフォームからソースされている。 IndicDBは237のテーブルに20のデータベースがあり、英語、ヒンディー語、および5つのIndic言語で15,617のタスクを生成する。
• 参考スコア（独自算出の注目度）: 5.678442494739663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) have significantly advanced Text-to-SQL performance, existing benchmarks predominantly focus on Western contexts and simplified schemas, leaving a gap in real-world, non-Western applications. We present IndicDB, a multilingual Text-to-SQL benchmark for evaluating cross-lingual semantic parsing across diverse Indic languages. The relational schemas are sourced from open-data platforms, including the National Data and Analytics Platform (NDAP) and the India Data Portal (IDP), ensuring realistic administrative data complexity. IndicDB comprises 20 databases across 237 tables. To convert denormalized government data into rich relational structures, we employ an iterative three-agent framework (Architect, Auditor, Refiner) to ensure structural rigor and high relational density (11.85 tables per database; join depths up to six). Our pipeline is value-aware, difficulty-calibrated, and join-enforced, generating 15,617 tasks across English, Hindi, and five Indic languages. We evaluate cross-lingual semantic parsing performance of state-of-the-art models (DeepSeek v3.2, MiniMax 2.7, LLaMA 3.3, Qwen3) across seven linguistic variants. Results show a 9.00% performance drop from English to Indic languages, revealing an "Indic Gap" driven by harder schema linking, increased structural ambiguity, and limited external knowledge. IndicDB serves as a rigorous benchmark for multilingual Text-to-SQL. Code and data: https://anonymous.4open.science/r/multilingualText2Sql-Indic--DDCC/
• Abstract（参考訳）: LLM(Large Language Models)はテキストとSQLのパフォーマンスが大幅に向上しているが、既存のベンチマークは主に西洋のコンテキストと単純化されたスキーマに焦点を当てており、実際の非西洋のアプリケーションではギャップが残っている。 IndicDBは、多言語間セマンティックパーシングを評価するための多言語テキスト-SQLベンチマークである。 リレーショナルスキーマは、National Data and Analytics Platform(NDAP)やIndia Data Portal(IDP)など、オープンソースのプラットフォームからソースされている。 IndicDBは237テーブルにわたる20のデータベースで構成されている。 非正規化された政府データをリッチなリレーショナル構造に変換するために、構造厳密かつ高いリレーショナル密度(データベースあたり11.85テーブル、深さ6まで結合する)を保証するために、反復的な3つのエージェントフレームワーク(アーキテクト、監査者、精製者)を使用します。 私たちのパイプラインは、価値に気付き、困難に気付き、結合強化され、英語、ヒンディー語、および5つのIndic言語で15,617のタスクを生成します。 最先端モデルの言語間意味解析性能 (DeepSeek v3.2, MiniMax 2.7, LLaMA 3.3, Qwen3) を7つの言語変種で評価した。 その結果、英語からIndic言語への9.00%のパフォーマンス低下が示され、より厳しいスキーマリンク、構造的曖昧さの増大、限られた外部知識によって駆動される"インデックスギャップ"が明らかになった。 IndicDBは多言語テキストからSQLへの厳格なベンチマークとして機能する。 コードとデータ:https://anonymous.4open.science/r/multilingualText2Sql-Indic--DDCC/

関連論文リスト

• Multilingual Text-to-SQL: Benchmarking the Limits of Language Models with Collaborative Language Agents [12.06248425636]
  Text-to-Spiderはデータベースへの自然なアクセスを可能にするが、ほとんどのベンチマークは英語のみであり、多言語による進捗を制限する。 我々はMultiSpider 2.0を導入し、スパイダー2.0を8言語(英語、ドイツ語、フランス語、スペイン語、ポルトガル語、日本語、中国語、ベトナム語)に拡張する。 このベンチマークでは、最先端のLLMは本質的な推論に依存する場合、4%の精度でしか実行できないが、MultiSpider 1.0では60%に留まった。
  論文  参考訳（メタデータ） (2025-09-29T07:50:39Z)
• MultiTEND: A Multilingual Benchmark for Natural Language to NoSQL Query Translation [6.142748564599452]
  本稿では,自然言語によるクエリ生成のためのマルチ言語ベンチマークとして,MultiTENDを紹介する。 自然言語を様々な言語構造にまたがるクエリに翻訳する際の課題を分析する。 並列リンクプロセスを通じてクエリ生成ギャップに多言語入力をブリッジする新しいフレームワークであるMultiLinkを紹介する。
  論文  参考訳（メタデータ） (2025-02-16T07:12:47Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
  テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。 データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。 最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
  論文  参考訳（メタデータ） (2023-05-04T19:02:29Z)
• MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing [48.216386761482525]
  英語、ドイツ語、フランス語、スペイン語、日本語、中国語、ベトナム語)をカバーする最大多言語テキストスキーマデータセットであるMultiSpiderを提案する。 3つの典型的な設定(ゼロショット、モノリンガル、マルチリンガル)の下での実験結果から、非英語言語では6.1%の精度の低下が見られる。 また、単純なフレームワーク拡張フレームワークであるSAVe(Augmentation-with-Verification)を提案する。これは、全体的なパフォーマンスを約1.8%向上させ、言語間の29.5%のパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2022-12-27T13:58:30Z)
• XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
  大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。 この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。 また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
  論文  参考訳（メタデータ） (2022-10-25T01:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。