論文の概要: DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning
- arxiv url: http://arxiv.org/abs/2406.07913v1
- Date: Wed, 12 Jun 2024 06:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 18:15:17.129921
- Title: DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning
- Title（参考訳）: DeTriever: NL2SQLインコンテキスト学習を改善するデコーダ表現ベースのレトリバー
- Authors: Yuxi Feng, Raymond Li, Zhenan Fan, Giuseppe Carenini, Mohammadreza Pourreza, Weiwei Zhang, Yong Zhang,
- Abstract要約: DeTrieverは、隠れた状態の重み付けを学習する新しいデモ検索フレームワークである。
提案手法は1ショットNL2タスクにおける最先端のベースラインを大幅に上回る。
- 参考スコア（独自算出の注目度）: 19.93800175353809
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: While in-context Learning (ICL) has proven to be an effective technique to improve the performance of Large Language Models (LLMs) in a variety of complex tasks, notably in translating natural language questions into Structured Query Language (NL2SQL), the question of how to select the most beneficial demonstration examples remains an open research problem. While prior works often adapted off-the-shelf encoders to retrieve examples dynamically, an inherent discrepancy exists in the representational capacities between the external retrievers and the LLMs. Further, optimizing the selection of examples is a non-trivial task, since there are no straightforward methods to assess the relative benefits of examples without performing pairwise inference. To address these shortcomings, we propose DeTriever, a novel demonstration retrieval framework that learns a weighted combination of LLM hidden states, where rich semantic information is encoded. To train the model, we propose a proxy score that estimates the relative benefits of examples based on the similarities between output queries. Experiments on two popular NL2SQL benchmarks demonstrate that our method significantly outperforms the state-of-the-art baselines on one-shot NL2SQL tasks.
- Abstract（参考訳）: In-context Learning (ICL) は、自然言語の質問を構造化クエリ言語(NL2SQL)に翻訳する際に、様々な複雑なタスクにおいて、Large Language Models (LLM) のパフォーマンスを改善する効果的な手法であることが証明されているが、最も有益な実演例をどうやって選択すべきかという問題は、オープンな研究課題のままである。
以前の作業では、サンプルを動的に取り出すためにオフザシェルフエンコーダをしばしば適用していたが、外部レシーバとLCM間の表現能力には固有の相違が存在する。
さらに、サンプルの選択を最適化することは、ペアの推論を行わずにサンプルの相対的な利点を評価する簡単な方法がないため、非自明な作業である。
これらの欠点に対処するために,LLM隠れ状態の重み付けを学習し,リッチな意味情報を符号化する新しいデモ検索フレームワークであるDeTrieverを提案する。
モデルをトレーニングするために,出力クエリ間の類似性に基づいて,サンプルの相対的な利点を推定するプロキシスコアを提案する。
2つの人気のあるNL2SQLベンチマークの実験により、我々の手法はワンショットNL2SQLタスクにおける最先端のベースラインを大幅に上回ることを示した。
関連論文リスト
- Data Fusion of Synthetic Query Variants With Generative Large Language Models [1.864807003137943]
本研究は,データ融合実験において,命令調整型大規模言語モデルによって生成される合成クエリ変種を用いることの実現可能性について検討する。
我々は、プロンプトとデータ融合の原則を生かした、軽量で教師なしで費用効率のよいアプローチを導入します。
解析の結果,合成クエリの変種に基づくデータ融合は,単一クエリのベースラインよりもはるかに優れており,擬似関連フィードバック手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-11-06T12:54:27Z) - An Actor-Critic Approach to Boosting Text-to-SQL Large Language Model [7.01795534825797]
Actor-Critic (AC) と呼ばれるT2S拡張手法を提案する。
我々は,同じ大言語モデル (LLM) を用いて2つの役割を設計する。
批評家が生成したsqlが間違っていると信じている場合、アクターにthesqlを再生して再度評価するように通知する。
我々は11個のLDMを用いて、スパイダーと関連するデータセットに関する広範な実験を行い、アクター・クライト法がT2Sの性能を一貫して改善することを実証した。
論文 参考訳（メタデータ） (2024-10-28T15:22:35Z) - MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。
本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。
生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
論文 参考訳（メタデータ） (2024-05-13T04:59:32Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳（メタデータ） (2024-02-22T00:41:23Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-14T05:23:08Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳（メタデータ） (2023-05-23T20:15:56Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳（メタデータ） (2023-03-09T06:24:50Z) - Finding Support Examples for In-Context Learning [73.90376920653507]
本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。
まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。
そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
論文 参考訳（メタデータ） (2023-02-27T06:32:45Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳（メタデータ） (2023-02-11T14:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。