論文の概要: UQE: A Query Engine for Unstructured Databases

• arxiv url: http://arxiv.org/abs/2407.09522v1
• Date: Sun, 23 Jun 2024 06:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:28:38.441501
• Title: UQE: A Query Engine for Unstructured Databases
• Title（参考訳）: UQE: 構造化されていないデータベースのためのクエリエンジン
• Authors: Hanjun Dai, Bethany Yixin Wang, Xingchen Wan, Bo Dai, Sherry Yang, Azade Nova, Pengcheng Yin, Phitchaya Mangpo Phothilimthana, Charles Sutton, Dale Schuurmans,
• Abstract要約: 構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
• 参考スコア（独自算出の注目度）: 71.49289088592842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analytics on structured data is a mature field with many successful methods. However, most real world data exists in unstructured form, such as images and conversations. We investigate the potential of Large Language Models (LLMs) to enable unstructured data analytics. In particular, we propose a new Universal Query Engine (UQE) that directly interrogates and draws insights from unstructured data collections. This engine accepts queries in a Universal Query Language (UQL), a dialect of SQL that provides full natural language flexibility in specifying conditions and operators. The new engine leverages the ability of LLMs to conduct analysis of unstructured data, while also allowing us to exploit advances in sampling and optimization techniques to achieve efficient and accurate query execution. In addition, we borrow techniques from classical compiler theory to better orchestrate the workflow between sampling methods and foundation model calls. We demonstrate the efficiency of UQE on data analytics across different modalities, including images, dialogs and reviews, across a range of useful query types, including conditional aggregation, semantic retrieval and abstraction aggregation.
• Abstract（参考訳）: 構造化データの分析は多くの手法が成功した成熟した分野である。 しかし、現実世界のほとんどのデータは、画像や会話のような構造化されていない形で存在する。 構造化されていないデータ分析を可能にするために,Large Language Models (LLMs) の可能性を検討する。 特に,非構造化データコレクションからのインサイトを直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。 このエンジンはSQLの方言であるUniversal Query Language (UQL)でクエリを受け取り、条件や演算子を指定する際に自然言語の柔軟性を完全に提供する。 新しいエンジンは、LLMが非構造化データの解析を行う能力を活用するとともに、サンプリングおよび最適化技術の進歩を活用して、効率的かつ正確なクエリ実行を実現する。 さらに,従来のコンパイラ理論の手法を借りて,サンプリング手法とファンデーションモデル呼び出しのワークフローを整理する。 条件付きアグリゲーション,セマンティック検索,抽象化アグリゲーションなど,さまざまなモダリティにわたるデータ分析におけるUQEの効率性を示す。

関連論文リスト

• Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning [10.731045939849125]
  我々は,大規模言語モデルの観点から,テキストからテキストへのセマンティックパーシングに注目した。 商用データベースのスキーマのサイズとビジネスインテリジェンスソリューションの展開性に関する課題から,入力データベース情報を動的に取得するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:55:14Z)
• IQLS: Framework for leveraging Metadata to enable Large Language Model based queries to complex, versatile Data [0.20482269513546458]
  Intelligent Query and Learning System (IQLS)は、自然言語を使ってデータ検索を単純化することで、プロセスを単純化する。 利用可能なメタデータと利用可能なデータモデルに基づいて、構造化されたデータをフレームワークにマッピングする。 IQLSは、インターフェイスを通じてユーザクエリによって与えられるタスクをエージェントが実行可能にする。
  論文  参考訳（メタデータ） (2024-05-04T13:44:05Z)
• NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
  NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。 NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
  論文  参考訳（メタデータ） (2024-04-03T01:09:41Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)
• Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
  トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。 我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
  論文  参考訳（メタデータ） (2022-09-28T21:00:30Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• ColloQL: Robust Cross-Domain Text-to-SQL Over Search Queries [10.273545005890496]
  データ拡張技術とサンプリングベースコンテンツ対応BERTモデル(ColloQL)を紹介する。 ColloQLは、Wikilogicalデータセット上で84.9%(実行)と90.7%(実行)の精度を達成する。
  論文  参考訳（メタデータ） (2020-10-19T23:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。