論文の概要: A System and Benchmark for LLM-based Q\&A on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2409.05735v1
• Date: Mon, 9 Sep 2024 15:44:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:06:46.358364
• Title: A System and Benchmark for LLM-based Q\&A on Heterogeneous Data
• Title（参考訳）: 異種データに基づくLLMベースのQ\&Aのためのシステムとベンチマーク
• Authors: Achille Fokoue, Srideepika Jayaraman, Elham Khabiri, Jeffrey O. Kephart, Yingjie Li, Dhruv Shah, Youssef Drissi, Fenno F. Heath III, Anu Bhamidipaty, Fateh A. Tipu, Robert J. Baseman,
• Abstract要約: データベースとAPIの両方へのシームレスな自然言語アクセスを可能にするsiwarexプラットフォームを導入しました。 修正されたスパイダーベンチマークは、近く研究コミュニティに公開される予定です。
• 参考スコア（独自算出の注目度）: 17.73258512415368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many industrial settings, users wish to ask questions whose answers may be found in structured data sources such as a spreadsheets, databases, APIs, or combinations thereof. Often, the user doesn't know how to identify or access the right data source. This problem is compounded even further if multiple (and potentially siloed) data sources must be assembled to derive the answer. Recently, various Text-to-SQL applications that leverage Large Language Models (LLMs) have addressed some of these problems by enabling users to ask questions in natural language. However, these applications remain impractical in realistic industrial settings because they fail to cope with the data source heterogeneity that typifies such environments. In this paper, we address heterogeneity by introducing the siwarex platform, which enables seamless natural language access to both databases and APIs. To demonstrate the effectiveness of siwarex, we extend the popular Spider dataset and benchmark by replacing some of its tables by data retrieval APIs. We find that siwarex does a good job of coping with data source heterogeneity. Our modified Spider benchmark will soon be available to the research community
• Abstract（参考訳）: 多くの産業環境では,スプレッドシートやデータベース,API,あるいはその組み合わせなど,構造化データソースから回答が得られそうな質問をユーザが求めている。 多くの場合、ユーザは適切なデータソースを識別したり、アクセスする方法を知らない。 この問題がさらに複雑になるのは、複数の(そして潜在的にサイロ化された)データソースを組み立てて答えを導出する必要がある場合である。 近年,Large Language Models (LLMs) を利用したテキストからSQLへの様々なアプリケーションが,自然言語で質問を行うことによって,これらの問題に対処している。 しかし、これらのアプリケーションは、そのような環境に代表されるデータソースの不均一性に対処できないため、現実的な産業環境では実用的ではない。 本稿では,データベースとAPIの両方へのシームレスな自然言語アクセスを可能にするsiwarexプラットフォームを導入することで,不均一性に対処する。 siwarexの有効性を示すために、人気のあるSpiderデータセットとベンチマークを拡張し、データ検索APIによってテーブルの一部を置き換える。 私たちは、siwarexがデータソースの不均一性に対処する上で、よい仕事をしていることに気付きました。 修正されたスパイダーベンチマークが近く研究コミュニティで利用可能に

関連論文リスト

• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• Text2SQL is Not Enough: Unifying AI and Databases with TAG [47.45480855418987]
  Table-Augmented Generation (TAG) は、データベース上の自然言語の質問に答えるパラダイムである。 我々は、TAG問題を研究するためのベンチマークを開発し、標準手法がクエリの20%以上を正しく答えることを発見した。
  論文  参考訳（メタデータ） (2024-08-27T00:50:14Z)
• Hybrid Querying Over Relational Databases and Large Language Models [8.926173054003547]
  実世界の4つのデータベースに対する120以上の問合せを含む最初のクロスドメインベンチマークであるSWANを提示する。 1つはスキーマ拡張に基づくもので、もう1つはユーザ定義関数に基づくものである。 評価の結果,GPT-4Turboを数発のプロンプトで使用すれば,実行精度が40.0%,データ事実性が48.2%まで向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T19:29:18Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)
• Deep Learning Driven Natural Languages Text to SQL Query Conversion: A Survey [2.309914459672557]
  本稿では,近年研究されている24のニューラルネットワークモデルについて概観する。 TEXT2技術のモデルのトレーニングに広く使用されている11のデータセットの概要も紹介する。
  論文  参考訳（メタデータ） (2022-08-08T20:54:34Z)
• Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text [62.489652395307914]
  我々は、知識集約型アプリケーションのための構造化知識を符号化する手段として、Data-to-text法、すなわち、オープンドメイン質問応答(QA)を用いる。 具体的には、ウィキペディアとウィキソースの3つのテーブルを付加知識源として使用する、データとテキスト上でのオープンドメインQAのための冗長化-レトリバー・リーダー・フレームワークを提案する。 UDT-QA(Unified Data and Text QA)は,知識インデックスの拡大を効果的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-10-16T00:11:21Z)
• "What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL [49.85635994436742]
  ループ内に人間を包含し,複数質問を用いてユーザと対話する,新規非依存型対話型アプローチ(PIIA)を提案する。 PIIAは、シミュレーションと人的評価の両方を用いて、限られたインタラクションターンでテキストとドメインのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-11-09T02:14:33Z)
• Data Agnostic RoBERTa-based Natural Language to SQL Query Generation [0.0]
  NL2タスクは、自然言語による質問から有効なクエリへの変換問題を解決するために、ディープラーニングアプローチを見つけることを目的としている。 データプライバシに関するアプローチを,その中核として紹介しています。 成果は得られていないが、モデルのトレーニングからテーブルの必要性を排除した。
  論文  参考訳（メタデータ） (2020-10-11T13:18:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。