論文の概要: Improving Generalization in Semantic Parsing by Increasing Natural Language Variation

• arxiv url: http://arxiv.org/abs/2402.08666v1
• Date: Tue, 13 Feb 2024 18:48:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 14:03:38.055689
• Title: Improving Generalization in Semantic Parsing by Increasing Natural Language Variation
• Title（参考訳）: 自然言語変化の増大による意味構文解析の一般化
• Authors: Irina Saparina and Mirella Lapata
• Abstract要約: 本研究では,テキスト間セマンティック解析の堅牢性を高めるためにデータ拡張を利用する。 私たちは、より現実的で多様な質問を生成するために、大きな言語モデルの能力を活用しています。 いくつかのプロンプトを使って、スパイダー内の質問の数を2倍に増やすことができる。
• 参考スコア（独自算出の注目度）: 67.13483734810852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-SQL semantic parsing has made significant progress in recent years, with various models demonstrating impressive performance on the challenging Spider benchmark. However, it has also been shown that these models often struggle to generalize even when faced with small perturbations of previously (accurately) parsed expressions. This is mainly due to the linguistic form of questions in Spider which are overly specific, unnatural, and display limited variation. In this work, we use data augmentation to enhance the robustness of text-to-SQL parsers against natural language variations. Existing approaches generate question reformulations either via models trained on Spider or only introduce local changes. In contrast, we leverage the capabilities of large language models to generate more realistic and diverse questions. Using only a few prompts, we achieve a two-fold increase in the number of questions in Spider. Training on this augmented dataset yields substantial improvements on a range of evaluation sets, including robustness benchmarks and out-of-domain data.
• Abstract（参考訳）: テキストからSQLへのセマンティックパーシングは近年大きく進歩し、様々なモデルが挑戦的なSpiderベンチマークで素晴らしいパフォーマンスを示している。 しかしながら、これらのモデルは、以前(正確に)解析された表現の小さな摂動に直面しても、しばしば一般化に苦しむことが示されている。 これは主に、非常に特異で不自然で、限定的な変動を示すクモの言語形式の質問である。 本研究では,自然言語の変動に対するテキストからSQLへのパーサの堅牢性を高めるためにデータ拡張を利用する。 既存のアプローチは、スパイダーでトレーニングされたモデルか、あるいは局所的な変更のみによって、質問の再構成を生成する。 対照的に、私たちは大きな言語モデルの能力を活用して、よりリアルで多様な質問を生成します。 いくつかのプロンプトを使って、スパイダー内の質問の数を2倍に増やすことができる。 この拡張データセットのトレーニングにより、堅牢性ベンチマークやドメイン外データなど、さまざまな評価セットが大幅に改善される。

関連論文リスト

• We're Calling an Intervention: Exploring the Fundamental Hurdles in Adapting Language Models to Nonstandard Text [8.956635443376527]
  非標準テキストへの言語モデル適応の根底にある課題を理解するための一連の実験を提示する。 我々は、言語モデルの既存バイアスとの相互作用と、いくつかの種類の言語的変動を近似する介入を設計する。 学習データのサイズや性質の異なる言語モデル適応時の介入を適用することで、知識伝達がいつ成功するかについて重要な洞察を得ることができる。
  論文  参考訳（メタデータ） (2024-04-10T18:56:53Z)
• CodeS: Towards Building Open-source Language Models for Text-to-SQL [42.11113113574589]
  1Bから15Bまでのパラメータを持つ事前学習言語モデルであるCodeSを紹介する。 CodeSは完全にオープンな言語モデルであり、パラメータサイズをはるかに小さくすることで精度が向上する。 我々は、広く使われているスパイダーベンチマークを含む、複数のデータセットの包括的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-26T07:00:58Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Measuring and Improving Compositional Generalization in Text-to-SQL via Component Alignment [23.43452719573272]
  合成一般化を生成するための節レベルの合成例生成法を提案する。 そこで本研究では,Spider-SSとSpider-CGのデータセットを構築し,構成を一般化するモデルの有効性を検証した。 実験の結果,既存のモデルではスパイダーCGで評価した場合,大幅な性能劣化がみられた。 我々は,Spider-SSのセグメント化データをトレーニングするために,多数の最先端モデルを修正し,この手法が一般化性能を向上させることを示す。
  論文  参考訳（メタデータ） (2022-05-04T13:29:17Z)
• NL-Augmenter: A Framework for Task-Sensitive Natural Language Augmentation [91.97706178867439]
  提案するNL-Augmenterは,Pythonベースの自然言語拡張フレームワークである。 このフレームワークと117の変換と23のフィルタを、さまざまな自然言語タスクに対して記述する。 我々は,NL-Augmenterの有効性を,NL-Augmenterの変換を用いて検証し,自然言語モデルのロバスト性を解析した。
  論文  参考訳（メタデータ） (2021-12-06T00:37:59Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。