論文の概要: Learning Metadata-Agnostic Representations for Text-to-SQL In-Context Example Selection

• arxiv url: http://arxiv.org/abs/2410.14049v1
• Date: Thu, 17 Oct 2024 21:45:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:47.684894
• Title: Learning Metadata-Agnostic Representations for Text-to-SQL In-Context Example Selection
• Title（参考訳）: テキストからSQLへのインコンテキスト選択のためのメタデータ非依存表現の学習
• Authors: Chuhong Mai, Ro-ee Tal, Thahir Mohamed,
• Abstract要約: In-context Learning(ICL)は、大きな言語モデル(LLM)がプロンプトに追加されたタスクデモの恩恵を受ける強力なパラダイムである。 本稿では,自然言語質問の表現と,共有埋め込み空間におけるクエリの表現を整列する手法を提案する。 我々の手法はMARLOと呼ばれ、クエリ構造を用いてデータベースメタデータを過剰にインデクシングすることなくクエリインテントをモデル化する。
• 参考スコア（独自算出の注目度）: 0.3277163122167434
• License:
• Abstract: In-context learning (ICL) is a powerful paradigm where large language models (LLMs) benefit from task demonstrations added to the prompt. Yet, selecting optimal demonstrations is not trivial, especially for complex or multi-modal tasks where input and output distributions differ. We hypothesize that forming task-specific representations of the input is key. In this paper, we propose a method to align representations of natural language questions and those of SQL queries in a shared embedding space. Our technique, dubbed MARLO - Metadata-Agnostic Representation Learning for Text-tO-SQL - uses query structure to model querying intent without over-indexing on underlying database metadata (i.e. tables, columns, or domain-specific entities of a database referenced in the question or query). This allows MARLO to select examples that are structurally and semantically relevant for the task rather than examples that are spuriously related to a certain domain or question phrasing. When used to retrieve examples based on question similarity, MARLO shows superior performance compared to generic embedding models (on average +2.9\%pt. in execution accuracy) on the Spider benchmark. It also outperforms the next best method that masks metadata information by +0.8\%pt. in execution accuracy on average, while imposing a significantly lower inference latency.
• Abstract（参考訳）: In-context Learning(ICL)は、大きな言語モデル(LLM)がプロンプトに追加されたタスクデモの恩恵を受ける強力なパラダイムである。 しかし、特に入力と出力の分布が異なる複雑なタスクやマルチモーダルタスクでは、最適なデモを選択することは簡単ではない。 入力のタスク固有の表現の形成が重要であると仮定する。 本稿では,自然言語質問とSQLクエリの表現を共有埋め込み空間で整列する手法を提案する。 MARLO(Metadata-Agnostic Representation Learning for Text-tO-SQL)と呼ばれる私たちの技術は、クエリ構造を使用して、データベースメタデータ(テーブル、列、またはクエリで参照されるデータベースのドメイン固有のエンティティ)を過剰にインデックスすることなく、クエリインテントをモデル化します。 これにより、MARLOは特定のドメインや質問文に急激な関係を持つ例よりも、タスクに構造的に、意味的に関連づけられた例を選択することができる。 MARLOは、質問類似性に基づいたサンプルの検索に使用される場合、一般的な埋め込みモデル(平均+2.9\%pt)よりも優れた性能を示す。 Spiderベンチマーク(実行精度)。 また、メタデータ情報を+0.8\%ptで隠蔽する次のベストメソッドよりも優れています。 平均的な実行精度では、推論レイテンシが大幅に低い。

関連論文リスト

• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning [10.731045939849125]
  本稿では,テキストからセマンティックへの解析に注目する。 商用データベースのスキーマのサイズとビジネスインテリジェンスソリューションのデプロイ可能性に関する課題から,入力データベース情報を動的に取得する $textASTReS$ を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:55:14Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning [19.93800175353809]
  DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。 提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-06-12T06:33:54Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
  TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Metasql: A Generate-then-Rank Framework for Natural Language to SQL Translation [10.812409371488913]
  本稿では,既存のNLIDBに柔軟に組み込むことができ,翻訳精度を一貫して向上する統合生成列フレームワークを提案する。 Metasqlは、より良いクエリ候補の生成を制御するためにクエリメタデータを導入し、グローバルに最適化されたクエリを検索するために学習からランクアルゴリズムを使用する。 その結果,Metasqlを用いて翻訳モデルの性能を効果的に改善できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-27T02:16:07Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval [17.747079214502673]
  Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。 本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。 我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
  論文  参考訳（メタデータ） (2023-04-26T06:02:01Z)
• XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
  大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。 この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。 また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
  論文  参考訳（メタデータ） (2022-10-25T01:33:49Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。