Fugu-MT 論文翻訳(概要): Evaluating the Text-to-SQL Capabilities of Large Language Models

論文の概要: Evaluating the Text-to-SQL Capabilities of Large Language Models

arxiv url: http://arxiv.org/abs/2204.00498v1
Date: Tue, 15 Mar 2022 17:23:53 GMT
ステータス: 処理完了
システム内更新日: 2022-04-10 14:20:24.808763
Title: Evaluating the Text-to-SQL Capabilities of Large Language Models
Title（参考訳）: 大規模言語モデルのテキスト-SQL機能の評価
Authors: Nitarshan Rajkumar, Raymond Li, Dzmitry Bahdanau
Abstract要約: 私たちは、CodexがSpiderベンチマークの強力なベースラインであることに気付きました。我々はGeoQueryとScholarのベンチマークで、プロンプトで提供された少数のドメイン内サンプルによって、Codexは、このような数ショットの例では、最先端のモデルよりも優れたパフォーマンスを実現できることを実証した。
参考スコア（独自算出の注目度）: 8.927981588312331
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We perform an empirical evaluation of Text-to-SQL capabilities of the Codex language model. We find that, without any finetuning, Codex is a strong baseline on the Spider benchmark; we also analyze the failure modes of Codex in this setting. Furthermore, we demonstrate on the GeoQuery and Scholar benchmarks that a small number of in-domain examples provided in the prompt enables Codex to perform better than state-of-the-art models finetuned on such few-shot examples.
Abstract（参考訳）: 我々は,コーデックス言語モデルのテキスト対sql機能に関する経験的評価を行う。微調整なしでは、CodexはSpiderベンチマークの強力なベースラインであり、この設定でCodexの障害モードも解析する。さらに、GeoQuery と Scholar のベンチマークでは、プロンプトで提供される少数のドメイン内サンプルによって、Codex は最先端のモデルよりもパフォーマンスが向上することを示した。

関連論文リスト

Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。復号法は、いくつかの指標で優れ、他の指標では性能が劣ることが多い。本稿では,この多基準フレームワークにおける新たなランキング戦略を提案する。
論文参考訳（メタデータ） (2024-10-24T11:32:01Z)
Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
CodeS: Towards Building Open-source Language Models for Text-to-SQL [42.11113113574589]
1Bから15Bまでのパラメータを持つ事前学習言語モデルであるCodeSを紹介する。 CodeSは完全にオープンな言語モデルであり、パラメータサイズをはるかに小さくすることで精度が向上する。我々は、広く使われているスパイダーベンチマークを含む、複数のデータセットの包括的な評価を行う。
論文参考訳（メタデータ） (2024-02-26T07:00:58Z)
Evaluating Cross-Domain Text-to-SQL Models and Benchmarks [7.388002745070808]
テキスト・ツー・ベンチマークを研究し、これらのベンチマークの中で最高のパフォーマンスのモデルを再評価する。これらのベンチマークで完全な性能を達成することは、提供されたサンプルから導出できる複数の解釈のため不可能であることがわかった。 GPT4ベースのモデルは、人間の評価においてスパイダーベンチマークのゴールド標準基準クエリを上回る。
論文参考訳（メタデータ） (2023-10-27T23:36:14Z)
Exploring Automatic Evaluation Methods based on a Decoder-based LLM for Text Generation [16.78350863261211]
本稿では,エンコーダモデルを用いたチューニングや,同じ条件下での大規模言語モデルなど,様々な手法を比較する。実験結果から, 調律エンコーダモデルと比較すると, 調律デコーダモデルの性能は低かった。また、ChatGPTのような非常に大きなデコーダベースのモデルのコンテキスト内学習は、きめ細かいセマンティックな違いを識別することが困難であることも明らかにした。
論文参考訳（メタデータ） (2023-10-17T06:53:00Z)
UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文参考訳（メタデータ） (2023-05-25T17:19:52Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
論文参考訳（メタデータ） (2022-10-25T01:33:49Z)
TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
論文参考訳（メタデータ） (2022-10-19T17:08:13Z)
Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文参考訳（メタデータ） (2020-10-12T17:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。