論文の概要: LLM NL2SQL Robustness: Surface Noise vs. Linguistic Variation in Traditional and Agentic Settings

• arxiv url: http://arxiv.org/abs/2603.17017v1
• Date: Tue, 17 Mar 2026 18:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.332947
• Title: LLM NL2SQL Robustness: Surface Noise vs. Linguistic Variation in Traditional and Agentic Settings
• Title（参考訳）: LLM NL2SQLロバスト性: 従来およびエージェント設定における表面雑音と言語的変化
• Authors: Lifu Tu, Rongguang Wang, Tao Sheng, Sujjith Ravi, Dan Roth,
• Abstract要約: 約10種類の摂動を含むロバストネス評価ベンチマークを導入する。 我々はGrok-4.1、Gemini-3-Pro、Claude-Opus-4.6、GPT-5.2を含む複数の最先端の大規模言語モデル(LLM)を評価する。 従来のパイプラインでは,表面レベルのノイズが大きな性能低下を引き起こすのに対して,言語的変動はエージェント設定において大きな課題を呈する。
• 参考スコア（独自算出の注目度）: 43.71390048052632
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Robustness evaluation for Natural Language to SQL (NL2SQL) systems is essential because real-world database environments are dynamic, noisy, and continuously evolving, whereas conventional benchmark evaluations typically assume static schemas and well-formed user inputs. In this work, we introduce a robustness evaluation benchmark containing approximately ten types of perturbations and conduct evaluations under both traditional and agentic settings. We assess multiple state-of-the-art large language models (LLMs), including Grok-4.1, Gemini-3-Pro, Claude-Opus-4.6, and GPT-5.2. Our results show that these models generally maintain strong performance under several perturbations; however, notable performance degradation is observed for surface-level noise (e.g., character-level corruption) and linguistic variation that preserves semantics while altering lexical or syntactic forms. Furthermore, we observe that surface-level noise causes larger performance drops in traditional pipelines, whereas linguistic variation presents greater challenges in agentic settings. These findings highlight the remaining challenges in achieving robust NL2SQL systems, particularly in handling linguistic variability.
• Abstract（参考訳）: Natural Language to SQL (NL2SQL) システムのロバスト性評価は、現実のデータベース環境が動的でノイズが多く、継続的に進化しているのに対して、従来のベンチマーク評価では、静的スキーマとよく形成されたユーザ入力を前提としている。 本研究では,約10種類の摂動を含むロバストネス評価ベンチマークを導入する。 我々はGrok-4.1、Gemini-3-Pro、Claude-Opus-4.6、GPT-5.2を含む複数の最先端の大規模言語モデル(LLM)を評価する。 以上の結果から,これらのモデルでは,複数の摂動条件下での強い性能が維持されていることが示唆されるが,表層雑音(例えば,文字レベルの劣化)や,語彙や構文形式を変えながら意味を保った言語的変化に対して,顕著な性能劣化が観察される。 さらに、従来のパイプラインでは、表面レベルのノイズがより大きな性能低下を引き起こすのに対し、言語的変動はエージェント設定において大きな課題を呈する。 これらの結果は、堅牢なNL2SQLシステム、特に言語的可変性を扱う際の残りの課題を浮き彫りにしている。

関連論文リスト

• Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation [40.210132040677]
  本稿では,23の現代大言語モデル(LLM)の絶対的性能と相対的ランク付けが,制御的,真に等価な語彙的および構文的摂動に与える影響について検討する。 その結果、語彙的摂動は、ほぼすべてのモデルやタスクに対して、実質的、統計的に有意な性能劣化を誘導する一方、構文的摂動はより異質な効果を持ち、時には結果を改善することが示されている。
  論文  参考訳（メタデータ） (2026-02-19T12:24:42Z)
• AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
  本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。 まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。 次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。 この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-02-11T20:33:10Z)
• FLUKE: A Linguistically-Driven and Task-Agnostic Framework for Robustness Evaluation [24.39952838336609]
  FLUKEは、システムの最小限のテストデータを通じてモデルロバスト性を評価するためのフレームワークである。 FLUKEの実用性は、6つの異なるNLPタスクにまたがる細調整モデルと大規模言語モデル(LLM)の両方を評価することで実証する。
  論文  参考訳（メタデータ） (2025-04-24T07:12:37Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
  本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。 提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
  論文  参考訳（メタデータ） (2022-12-15T10:20:42Z)
• Robustification of Multilingual Language Models to Real-world Noise with Robust Contrastive Pretraining [14.087882550564169]
  ノイズの多いデータに基づいてニューラルモデルのロバスト性を評価し,改良は英語に限られていることを示唆する。 事前訓練された多言語モデルの性能をベンチマークするために、5つの言語と4つのNLPタスクをカバーするノイズの多いデータセットを構築した。 本稿では,多言語事前学習モデルのゼロショット言語間ロバスト性を高めるために,ロバストコントラスト事前学習(RCP)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T15:40:43Z)
• KinyaBERT: a Morphology-aware Kinyarwanda Language Model [1.2183405753834562]
  教師なしサブワードトークン化法は、形態的にリッチな言語を扱うのに最適である。 本稿では, 形態素解析を応用し, 構造的構成性を明確に表現する, 単純かつ効果的な2層BERTアーキテクチャを提案する。 提案手法を低リソース形態素に富んだKinyaarwanda言語上で評価し,モデルアーキテクチャKinyaBERTを命名した。
  論文  参考訳（メタデータ） (2022-03-16T08:36:14Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。