論文の概要: AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries

• arxiv url: http://arxiv.org/abs/2406.19073v2
• Date: Thu, 31 Oct 2024 13:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:58.645299
• Title: AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries
• Title（参考訳）: AMBROSIA: 曖昧な質問をデータベースクエリに解析するためのベンチマーク
• Authors: Irina Saparina, Mirella Lapata,
• Abstract要約: 我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。 私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
• 参考スコア（独自算出の注目度）: 56.82807063333088
• License:
• Abstract: Practical semantic parsers are expected to understand user utterances and map them to executable programs, even when these are ambiguous. We introduce a new benchmark, AMBROSIA, which we hope will inform and inspire the development of text-to-SQL parsers capable of recognizing and interpreting ambiguous requests. Our dataset contains questions showcasing three different types of ambiguity (scope ambiguity, attachment ambiguity, and vagueness), their interpretations, and corresponding SQL queries. In each case, the ambiguity persists even when the database context is provided. This is achieved through a novel approach that involves controlled generation of databases from scratch. We benchmark various LLMs on AMBROSIA, revealing that even the most advanced models struggle to identify and interpret ambiguity in questions.
• Abstract（参考訳）: 現実的なセマンティックパーザは,ユーザの発話を理解して実行可能プログラムにマッピングすることが期待されている。 我々はAMBROSIAという新しいベンチマークを導入し、不明瞭な要求を認識し、解釈できるテキスト・ツー・SQLパーサの開発に刺激を与えたいと思っています。 我々のデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)、解釈、および対応するSQLクエリーを示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。 AMBROSIA 上で様々な LLM のベンチマークを行い、最も先進的なモデルでさえ、質問のあいまいさを識別し解釈するのに苦労していることを明らかにした。

関連論文リスト

• PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries [32.40808001281668]
  実際のユーザ質問は、複数の解釈で曖昧である場合もあれば、関連するデータが不足しているため、解決不可能である場合もあります。 本研究では,実際の対話型テキスト・テキスト・データセットを構築する。 我々は,最初のユーザ質問,明確化を求めるアシスタント応答,ユーザの明確化,およびアシスタントの明確化の4つのターンで会話を生成する。
  論文  参考訳（メタデータ） (2024-10-14T20:36:35Z)
• Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
  サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。 提案手法は,質問項目のサンプルと詳細な情報を含む。 人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
  論文  参考訳（メタデータ） (2023-07-11T07:16:22Z)
• QURG: Question Rewriting Guided Context-Dependent Text-to-SQL Semantic Parsing [46.05006486399823]
  本稿では,モデルが適切な文脈理解を実現するのに役立つ新しい質問書き直し指導手法であるQURGを提案する。 まず、質問コンテキストに基づいて現在の質問を完了させるために質問書き換えモデルを訓練し、それらを書き換え編集行列に変換する。 さらに、2ストリームの行列エンコーダを設計し、質問とコンテキスト間の書き直し関係と、自然言語と構造化スキーマの関係をリンクするスキーマを共同でモデル化する。
  論文  参考訳（メタデータ） (2023-05-11T08:45:55Z)
• Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
  本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。 本稿では,2つの意味解析手法を提案し,その課題を強調した。 私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
  論文  参考訳（メタデータ） (2023-01-28T14:45:11Z)
• XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
  大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。 この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。 また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
  論文  参考訳（メタデータ） (2022-10-25T01:33:49Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• SPARQLing Database Queries from Intermediate Question Decompositions [7.475027071883912]
  自然言語の質問をデータベースクエリに変換するために、ほとんどのアプローチは、完全に注釈付けされたトレーニングセットに依存している。 データベースの中間問題表現を基盤として,この負担を軽減する。 我々のパイプラインは、自然言語質問を中間表現に変換するセマンティックと、訓練不能なトランスパイラをQLSPARクエリ言語に変換する2つの部分から構成される。
  論文  参考訳（メタデータ） (2021-09-13T17:57:12Z)
• "What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL [49.85635994436742]
  ループ内に人間を包含し,複数質問を用いてユーザと対話する,新規非依存型対話型アプローチ(PIIA)を提案する。 PIIAは、シミュレーションと人的評価の両方を用いて、限られたインタラクションターンでテキストとドメインのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-11-09T02:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。