論文の概要: Domain Adaptation of a State of the Art Text-to-SQL Model: Lessons Learned and Challenges Found

• arxiv url: http://arxiv.org/abs/2312.05448v1
• Date: Sat, 9 Dec 2023 03:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:01:03.248845
• Title: Domain Adaptation of a State of the Art Text-to-SQL Model: Lessons Learned and Challenges Found
• Title（参考訳）: state of the art text-to-sql modelのドメイン適応 - 学んだ教訓と課題
• Authors: Irene Manotas, Octavian Popescu, Ngoc Phuoc An Vo, Vadim Sheinin
• Abstract要約: 我々は、ベースとなるT5言語モデルとPicardが、Spiderデータセットとは異なるクエリ構造でどれだけうまく機能するかを分析する。 本稿では,ルールベースの手法を用いて,入力問題における値の曖昧化を行う方法を提案する。
• 参考スコア（独自算出の注目度）: 1.9963385352536616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are many recent advanced developments for the Text-to-SQL task, where the Picard model is one of the the top performing models as measured by the Spider dataset competition. However, bringing Text-to-SQL systems to realistic use-cases through domain adaptation remains a tough challenge. We analyze how well the base T5 Language Model and Picard perform on query structures different from the Spider dataset, we fine-tuned the base model on the Spider data and on independent databases (DB). To avoid accessing the DB content online during inference, we also present an alternative way to disambiguate the values in an input question using a rule-based approach that relies on an intermediate representation of the semantic concepts of an input question. In our results we show in what cases T5 and Picard can deliver good performance, we share the lessons learned, and discuss current domain adaptation challenges.
• Abstract（参考訳）: 最近のText-to-SQLタスクでは、スパイダーデータセットコンペティションで測定された最高パフォーマンスモデルの1つであるPicardモデルが開発されている。 しかし、ドメイン適応による現実的なユースケースにText-to-SQLシステムを導入することは難しい課題です。 ベースt5言語モデルとpicardがspiderデータセットとは異なるクエリ構造でいかにうまく機能するかを分析し,spiderデータと独立データベース(db)のベースモデルを微調整した。 推論中にDBコンテンツにアクセスするのを避けるために、入力質問のセマンティックな概念の中間表現に依存するルールベースのアプローチを用いて、入力質問における値を曖昧にする方法を提案する。 結果では、T5とPicardが優れたパフォーマンスを提供できる場合、学んだ教訓を共有し、現在のドメイン適応課題について議論する。

関連論文リスト

• CodeS: Towards Building Open-source Language Models for Text-to-SQL [42.11113113574589]
  1Bから15Bまでのパラメータを持つ事前学習言語モデルであるCodeSを紹介する。 CodeSは完全にオープンな言語モデルであり、パラメータサイズをはるかに小さくすることで精度が向上する。 我々は、広く使われているスパイダーベンチマークを含む、複数のデータセットの包括的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-26T07:00:58Z)
• Improving Generalization in Semantic Parsing by Increasing Natural Language Variation [67.13483734810852]
  本研究では,テキスト間セマンティック解析の堅牢性を高めるためにデータ拡張を利用する。 私たちは、より現実的で多様な質問を生成するために、大きな言語モデルの能力を活用しています。 いくつかのプロンプトを使って、スパイダー内の質問の数を2倍に増やすことができる。
  論文  参考訳（メタデータ） (2024-02-13T18:48:23Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead [6.966624873109535]
  State-of-the-art (SOTA) システムは、T5ファミリーのような大規模で訓練済み、微調整された言語モデルを使用する。 トレーニング中に個別のプロンプトを持つコヒーレントなタスクに対するマルチタスク(MT)により、特殊なテキストから3つのモデルよりも改善する。 我々は、領域と構成の一般化に起因する誤りを分解する研究を行う。
  論文  参考訳（メタデータ） (2023-02-21T23:15:33Z)
• Dr.Spider: A Diagnostic Evaluation Benchmark towards Text-to-SQL Robustness [115.66421993459663]
  近年の研究では、テキスト・ツー・モデルはタスク固有の摂動に弱いことが示されている。 モデル診断のための包括的ロバスト性ベンチマークを提案する。 我々は、そのセット上の最先端モデルの診断研究を行う。
  論文  参考訳（メタデータ） (2023-01-21T03:57:18Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Exploring Underexplored Limitations of Cross-Domain Text-to-SQL Generalization [20.550737675032448]
  既存のテキスト変換モデルは、トレーニングデータに頻繁に現れないドメイン知識に直面すると一般化しない。 本研究は,ドメイン知識の観察が稀な場合のテキスト・ツー・カレーション・モデルのロバスト性について考察する。 トレーニングセットにドメイン知識が現れても,そのようなドメイン知識を必要とするサンプルに対して,予測精度が劇的に低下することを示す。
  論文  参考訳（メタデータ） (2021-09-11T02:01:04Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)
• Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
  本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
  論文  参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。