論文の概要: DataFrame QA: A Universal LLM Framework on DataFrame Question Answering Without Data Exposure

• arxiv url: http://arxiv.org/abs/2401.15463v1
• Date: Sat, 27 Jan 2024 17:06:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 18:14:37.342023
• Title: DataFrame QA: A Universal LLM Framework on DataFrame Question Answering Without Data Exposure
• Title（参考訳）: DataFrame QA: データ公開なしで回答するデータフレームに関する共通LLMフレームワーク
• Authors: Junyi Ye, Mengnan Du, Guiling Wang
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いてデータフレーム上での情報検索とデータ解析を行うPandasクエリを生成する新しいタスクであるDataFrame Question answering (QA)を紹介する。 提案手法は,データフレーム列名に依存するため,データプライバシを確保するだけでなく,プロンプトのコンテキストウィンドウを大幅に削減する。
• 参考スコア（独自算出の注目度）: 21.951377899915798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces DataFrame question answering (QA), a novel task that utilizes large language models (LLMs) to generate Pandas queries for information retrieval and data analysis on dataframes, emphasizing safe and non-revealing data handling. Our method, which solely relies on dataframe column names, not only ensures data privacy but also significantly reduces the context window in the prompt, streamlining information processing and addressing major challenges in LLM-based data analysis. We propose DataFrame QA as a comprehensive framework that includes safe Pandas query generation and code execution. Various LLMs, notably GPT-4, are evaluated using the pass@1 metric on the renowned WikiSQL and our newly developed 'UCI-DataFrameQA', tailored for complex data analysis queries. Our findings indicate that GPT-4 achieves pass@1 rates of 86% on WikiSQL and 97% on UCI-DataFrameQA, underscoring its capability in securely retrieving and aggregating dataframe values and conducting sophisticated data analyses. This approach, deployable in a zero-shot manner without prior training or adjustments, proves to be highly adaptable and secure for diverse applications.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を用いてデータフレーム上での情報検索とデータ解析を行うPandasクエリを生成する新しいタスクであるDataFrame Question answering (QA)を紹介する。 提案手法は,データフレーム列名のみに依存しているため,データプライバシの確保だけでなく,情報処理の合理化,LLMデータ解析における大きな課題への対処など,プロンプトのコンテキストウィンドウを大幅に削減する。 我々は安全なPandasクエリ生成とコード実行を含む包括的フレームワークとしてDataFrame QAを提案する。 複雑なデータ解析クエリに適したWikiSQLと新たに開発した 'UCI-DataFrameQA' のパス@1測定値を用いて,様々な LLM,特に GPT-4 の評価を行った。 以上の結果から,gpt-4はwikisqlでは86%,uci-dataframeqaでは97%のpass@1レートを達成し,データフレーム値を安全に検索・集約し,高度なデータ解析を行う能力が強調された。 このアプローチは事前のトレーニングや調整なしにゼロショット方式でデプロイ可能であり、多様なアプリケーションに対して高い適応性と安全性が証明される。

関連論文リスト

• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
  所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。 Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
  論文  参考訳（メタデータ） (2024-10-07T17:59:58Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• API-Assisted Code Generation for Question Answering on Varied Table Structures [18.65003956496509]
  実行可能プログラムの生成によるテーブル質問応答(TableQA)の永続的課題は、様々なテーブル構造に適応している。 本稿では,多次元パンダデータフレームとして構造化テーブルの統一表現を提供する統合テーブルQAフレームワークを提案する。 プログラム機能の拡張と外部知識による複雑なリレーショナル質問に答えるために、我々のフレームワークはPythonプログラムが呼び出すことのできるカスタマイズされたAPIを可能にします。
  論文  参考訳（メタデータ） (2023-10-23T08:26:28Z)
• DataRaceBench V1.4.1 and DataRaceBench-ML V0.1: Benchmark Suites for Data Race Detection [23.240375422302666]
  データレースは、プログラムの正確性に悪影響を及ぼすため、マルチスレッド並列アプリケーションに重大な脅威をもたらす。 オープンソースのベンチマークスイートDataRaceBenchは、これらのデータ競合検出ツールを、システマティックで測定可能な方法で評価するために作られている。 本稿では,DataRaceBench-ML (DRB-ML) という名前の派生データセットを紹介する。
  論文  参考訳（メタデータ） (2023-08-16T16:23:13Z)
• PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization [63.55408755562274]
  審査用大言語モデル PandaLM は、いくつかの大きな言語モデルが与えられた優れたモデルを区別するために訓練されている。 PandaLMは、相対的簡潔さ、明快さ、指示への固執、包括性、形式性などの重要な主観的要因に対処する。 PandaLMはGPT-3.5の評価能力の93.75%、テストデータセットのF1スコアの88.28%を達成している。
  論文  参考訳（メタデータ） (2023-06-08T10:41:56Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies [74.01792675564218]
  本研究では,ラベルのないポリシー文書から関連するテキストセグメントを抽出する検索モデルに基づくデータ拡張フレームワークを開発する。 拡張データの多様性と品質を改善するために,複数の事前学習言語モデル(LM)を活用し,ノイズ低減フィルタモデルでそれらをカスケードする。 PrivacyQAベンチマークの強化データを使用して、既存のベースラインを大きなマージン(10% F1)に高め、新しい最先端のF1スコアを50%達成します。
  論文  参考訳（メタデータ） (2022-04-19T15:45:23Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。