論文の概要: Prompt4Vis: Prompting Large Language Models with Example Mining and
Schema Filtering for Tabular Data Visualization
- arxiv url: http://arxiv.org/abs/2402.07909v1
- Date: Mon, 29 Jan 2024 10:23:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 13:41:08.061490
- Title: Prompt4Vis: Prompting Large Language Models with Example Mining and
Schema Filtering for Tabular Data Visualization
- Title（参考訳）: prompt4vis: 表データ可視化のためのサンプルマイニングとスキーマフィルタリングによる大規模言語モデルのプロンプト
- Authors: Shuaimin Li, Xuanang Chen, Yuanfeng Song, Yunze Song, Chen Zhang
- Abstract要約: 本稿では,自然言語からデータビジュアライゼーションクエリを生成するフレームワークであるPrompt4Visを紹介する。
データビジュアライゼーションクエリを生成するためのテキスト・ツー・ビジュアリーに、インコンテキスト・ラーニングが導入される。
Prompt4Visは最先端(SOTA)のRGVisNetを約35.9%、開発とテストセットで71.3%上回っている。
- 参考スコア（独自算出の注目度）: 13.425454489560376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data visualization (DV) systems are increasingly recognized for their
profound capability to uncover insights from vast datasets, gaining attention
across both industry and academia. Crafting data queries is an essential
process within certain declarative visualization languages (DVLs, e.g.,
Vega-Lite, EChart.). The evolution of natural language processing (NLP)
technologies has streamlined the use of natural language interfaces to
visualize tabular data, offering a more accessible and intuitive user
experience. However, current methods for converting natural language questions
into data visualization queries, such as Seq2Vis, ncNet, and RGVisNet, despite
utilizing complex neural network architectures, still fall short of
expectations and have great room for improvement.
Large language models (LLMs) such as ChatGPT and GPT-4, have established new
benchmarks in a variety of NLP tasks, fundamentally altering the landscape of
the field. Inspired by these advancements, we introduce a novel framework,
Prompt4Vis, leveraging LLMs and in-context learning to enhance the performance
of generating data visualization from natural language. Prompt4Vis comprises
two key components: (1) a multi-objective example mining module, designed to
find out the truly effective examples that strengthen the LLM's in-context
learning capabilities for text-to-vis; (2) a schema filtering module, which is
proposed to simplify the schema of the database. Extensive experiments through
5-fold cross-validation on the NVBench dataset demonstrate the superiority of
Prompt4Vis, which notably surpasses the state-of-the-art (SOTA) RGVisNet by
approximately 35.9% and 71.3% on dev and test sets, respectively. To the best
of our knowledge, Prompt4Vis is the first work that introduces in-context
learning into the text-to-vis for generating data visualization queries.
- Abstract（参考訳）: データビジュアライゼーション(DV)システムは、膨大なデータセットからの洞察を発見でき、業界と学界の両方で注目を集めていることで、ますます認識されている。
データクエリの作成は、宣言型ビジュアライゼーション言語(DVL、Vega-Lite、EChartなど)において不可欠なプロセスである。
自然言語処理(NLP)技術の進化により、自然言語インタフェースを使って表形式のデータを視覚化し、よりアクセシブルで直感的なユーザー体験を提供するようになった。
しかし、現在の自然言語質問をseq2vis、ncnet、rgvisnetなどのデータ可視化クエリに変換する方法は、複雑なニューラルネットワークアーキテクチャを使用しているにもかかわらず、まだ期待に届かず、改善の余地も大きい。
ChatGPTやGPT-4のような大規模言語モデル(LLM)は、様々なNLPタスクで新しいベンチマークを確立し、フィールドの景観を根本的に変える。
これらの進歩に触発されて、自然言語からデータビジュアライゼーションを生成する性能を高めるために、LLMとテキスト内学習を活用する新しいフレームワークPrompt4Visを導入する。
Prompt4Visは2つの主要なコンポーネントから構成される:(1)マルチオブジェクトのサンプルマイニングモジュールで、テキスト・トゥ・ビジュアライゼーションのためのLLMのコンテキスト内学習能力を強化する真に効果的な例を見つけるように設計されている;(2)データベースのスキーマを単純化するために提案されるスキーマフィルタリングモジュール。
NVBenchデータセット上の5倍のクロスバリデーションによる大規模な実験は、開発とテストセットでそれぞれ約35.9%と71.3%の最先端(SOTA)のRGVisNetを上回るPrompt4Visの優位性を示している。
私たちの知る限りでは、Prompt4Visは、データ視覚化クエリを生成するためのテキストからビジュアライズにコンテキスト内学習を導入する最初の作品です。
関連論文リスト
- Large Language Models Understand Layout [6.732578061359833]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて異常な能力を示す。
テキスト理解能力以外にも,空間マーカーで表されるテキストレイアウトをLLMで処理できることが示されている。
レイアウト理解能力は,視覚的質問応答(VQA)システム構築に有用であることを示す。
論文 参考訳（メタデータ） (2024-07-08T09:03:12Z) - VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。
この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。
このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
論文 参考訳（メタデータ） (2024-06-14T17:59:40Z) - Automated Data Visualization from Natural Language via Large Language Models: An Exploratory Study [41.84915013818794]
The Natural Language to Visualization (NL2Vis) taskは、自然言語記述を接地テーブルの視覚表現に変換することを目的としている。
多くのディープラーニングベースのアプローチがNL2Vis向けに開発されているが、目に見えないデータベースや複数のテーブルにまたがるデータの視覚化には課題が続いている。
本稿では,Large Language Models (LLMs) の顕著な生成能力からインスピレーションを得て,その可能性を評価するための実証的研究を行う。
論文 参考訳（メタデータ） (2024-04-26T03:25:35Z) - Constructing Multilingual Visual-Text Datasets Revealing Visual Multilingual Ability of Vision Language Models [25.088717058818528]
9つの視覚・言語(VL)タスクを導入し、4つの言語(英語、日本語、スワヒリ語、ウルドゥー語)で多言語視覚テキストデータセットを構築した。
我々の研究はスワヒリ語とウルドゥー語でこのような分析を行った最初のものである。また、VL分析におけるテクストレーションを導入し、評価において重要な役割を担った。
論文 参考訳（メタデータ） (2024-03-29T10:53:07Z) - Natural Language Interfaces for Tabular Data Querying and Visualization: A Survey [30.836162812277085]
大規模言語モデル(LLM)の台頭はこの分野をさらに進歩させ、自然言語処理技術のための新たな道を開いた。
本稿では,これらのインターフェースの基礎となる基本概念と技術を紹介し,セマンティック解析に特に重点を置いている。
この中には、LSMの影響を深く掘り下げ、その強み、制限、将来の改善の可能性を強調している。
論文 参考訳（メタデータ） (2023-10-27T05:01:20Z) - Natural Language Models for Data Visualization Utilizing nvBench Dataset [6.996262696260261]
自然言語翻訳モデルを構築し、Vega Zeroと呼ばれる言語でデータと視覚化クエリの簡易バージョンを構築する。
本稿では,シーケンシャルトランスフォーマーに基づく機械学習モデルアーキテクチャの設計と性能について検討する。
論文 参考訳（メタデータ） (2023-10-02T00:48:01Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - Visual Instruction Tuning [79.70923292053097]
本稿では,言語のみの GPT-4 を用いてマルチモーダルな言語イメージ命令追跡データを生成する試みについて紹介する。
このようなデータに対して,LLaVA: Large Language and Vision Assistantを導入する。
科学QAを微調整すると、LLaVAとGPT-4の相乗効果は92.53%の新しい最先端精度を達成する。
論文 参考訳（メタデータ） (2023-04-17T17:59:25Z) - Using Large Language Models to Generate Engaging Captions for Data
Visualizations [51.98253121636079]
大規模言語モデル(LLM)は、高度なディープラーニング技術を用いて人間のような散文を生成する。
主な課題は、プロンプトエンジニアリングと呼ばれるLLMの最も効果的なプロンプトを設計することである。
我々は,LLM GPT-3を用いた最初の実験について報告し,いくつかの有望な結果を得た。
論文 参考訳（メタデータ） (2022-12-27T23:56:57Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳（メタデータ） (2022-10-04T18:32:14Z) - XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems
to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。
我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文 参考訳（メタデータ） (2022-04-15T03:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。