論文の概要: DataFrame QA: A Universal LLM Framework on DataFrame Question Answering
Without Data Exposure
- arxiv url: http://arxiv.org/abs/2401.15463v1
- Date: Sat, 27 Jan 2024 17:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 18:14:37.342023
- Title: DataFrame QA: A Universal LLM Framework on DataFrame Question Answering
Without Data Exposure
- Title(参考訳): DataFrame QA: データ公開なしで回答するデータフレームに関する共通LLMフレームワーク
- Authors: Junyi Ye, Mengnan Du, Guiling Wang
- Abstract要約: 本稿では,大規模言語モデル(LLM)を用いてデータフレーム上での情報検索とデータ解析を行うPandasクエリを生成する新しいタスクであるDataFrame Question answering (QA)を紹介する。
提案手法は,データフレーム列名に依存するため,データプライバシを確保するだけでなく,プロンプトのコンテキストウィンドウを大幅に削減する。
- 参考スコア(独自算出の注目度): 21.951377899915798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces DataFrame question answering (QA), a novel task that
utilizes large language models (LLMs) to generate Pandas queries for
information retrieval and data analysis on dataframes, emphasizing safe and
non-revealing data handling. Our method, which solely relies on dataframe
column names, not only ensures data privacy but also significantly reduces the
context window in the prompt, streamlining information processing and
addressing major challenges in LLM-based data analysis. We propose DataFrame QA
as a comprehensive framework that includes safe Pandas query generation and
code execution. Various LLMs, notably GPT-4, are evaluated using the pass@1
metric on the renowned WikiSQL and our newly developed 'UCI-DataFrameQA',
tailored for complex data analysis queries. Our findings indicate that GPT-4
achieves pass@1 rates of 86% on WikiSQL and 97% on UCI-DataFrameQA,
underscoring its capability in securely retrieving and aggregating dataframe
values and conducting sophisticated data analyses. This approach, deployable in
a zero-shot manner without prior training or adjustments, proves to be highly
adaptable and secure for diverse applications.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)を用いてデータフレーム上での情報検索とデータ解析を行うPandasクエリを生成する新しいタスクであるDataFrame Question answering (QA)を紹介する。
提案手法は,データフレーム列名のみに依存しているため,データプライバシの確保だけでなく,情報処理の合理化,LLMデータ解析における大きな課題への対処など,プロンプトのコンテキストウィンドウを大幅に削減する。
我々は安全なPandasクエリ生成とコード実行を含む包括的フレームワークとしてDataFrame QAを提案する。
複雑なデータ解析クエリに適したWikiSQLと新たに開発した 'UCI-DataFrameQA' のパス@1測定値を用いて,様々な LLM,特に GPT-4 の評価を行った。
以上の結果から,gpt-4はwikisqlでは86%,uci-dataframeqaでは97%のpass@1レートを達成し,データフレーム値を安全に検索・集約し,高度なデータ解析を行う能力が強調された。
このアプローチは事前のトレーニングや調整なしにゼロショット方式でデプロイ可能であり、多様なアプリケーションに対して高い適応性と安全性が証明される。
関連論文リスト
- DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する
このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
論文 参考訳(メタデータ) (2024-03-29T22:59:34Z) - CleanAgent: Automating Data Standardization with LLM-based Agents [4.069939236366668]
カラム型を標準化するための宣言的統一APIを備えたPythonライブラリを提案する。
Dataprep.Cleanは、特定の列型を1行のコードで標準化可能にすることで、複雑さを大幅に削減する。
データ標準化プロセスを自動化するために、Dataprep.CleanとLLMベースのエージェントを統合するCleanAgentフレームワークを導入する。
論文 参考訳(メタデータ) (2024-03-13T06:54:15Z) - InfiAgent-DABench: Evaluating Agents on Data Analysis Tasks [84.7788065721689]
本稿では,データ解析タスクにおけるLSMに基づくエージェントの評価に特化して設計された最初のベンチマークであるInfiAgent-DABenchを紹介する。
このベンチマークには52のCSVファイルから得られた257のデータ分析質問からなるデータセットであるDAEvalが含まれている。
エージェントフレームワーク上に構築し,DABench 上で GPT-3.5 を3.9% 上回る特殊エージェント DAAgent を開発した。
論文 参考訳(メタデータ) (2024-01-10T19:04:00Z) - API-Assisted Code Generation for Question Answering on Varied Table
Structures [18.65003956496509]
実行可能プログラムの生成によるテーブル質問応答(TableQA)の永続的課題は、様々なテーブル構造に適応している。
本稿では,多次元パンダデータフレームとして構造化テーブルの統一表現を提供する統合テーブルQAフレームワークを提案する。
プログラム機能の拡張と外部知識による複雑なリレーショナル質問に答えるために、我々のフレームワークはPythonプログラムが呼び出すことのできるカスタマイズされたAPIを可能にします。
論文 参考訳(メタデータ) (2023-10-23T08:26:28Z) - DataRaceBench V1.4.1 and DataRaceBench-ML V0.1: Benchmark Suites for
Data Race Detection [23.240375422302666]
データレースは、プログラムの正確性に悪影響を及ぼすため、マルチスレッド並列アプリケーションに重大な脅威をもたらす。
オープンソースのベンチマークスイートDataRaceBenchは、これらのデータ競合検出ツールを、システマティックで測定可能な方法で評価するために作られている。
本稿では,DataRaceBench-ML (DRB-ML) という名前の派生データセットを紹介する。
論文 参考訳(メタデータ) (2023-08-16T16:23:13Z) - PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning
Optimization [34.2320465228928]
審査用大言語モデル PandaLM は、いくつかの大きな言語モデルが与えられた優れたモデルを区別するために訓練されている。
PandaLMは、相対的簡潔さ、明快さ、指示への固執、包括性、形式性などの重要な主観的要因に対処する。
PandaLMはGPT-3.5の評価能力の93.75%、テストデータセットのF1スコアの88.28%を達成している。
論文 参考訳(メタデータ) (2023-06-08T10:41:56Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-16T17:45:23Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z) - Retrieval Enhanced Data Augmentation for Question Answering on Privacy
Policies [74.01792675564218]
本研究では,ラベルのないポリシー文書から関連するテキストセグメントを抽出する検索モデルに基づくデータ拡張フレームワークを開発する。
拡張データの多様性と品質を改善するために,複数の事前学習言語モデル(LM)を活用し,ノイズ低減フィルタモデルでそれらをカスケードする。
PrivacyQAベンチマークの強化データを使用して、既存のベースラインを大きなマージン(10% F1)に高め、新しい最先端のF1スコアを50%達成します。
論文 参考訳(メタデータ) (2022-04-19T15:45:23Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳(メタデータ) (2020-10-20T16:48:14Z) - Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。
自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。
我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
論文 参考訳(メタデータ) (2020-10-03T03:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。