論文の概要: Evaluating the Semantic Profiling Abilities of LLMs for Natural Language Utterances in Data Visualization

• arxiv url: http://arxiv.org/abs/2407.06129v1
• Date: Mon, 8 Jul 2024 17:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:40:07.174093
• Title: Evaluating the Semantic Profiling Abilities of LLMs for Natural Language Utterances in Data Visualization
• Title（参考訳）: データ可視化における自然言語発話におけるLLMのセマンティックプロファイリング能力の評価
• Authors: Hannah K. Bako, Arshnoor Buthani, Xinyi Liu, Kwesi A. Cobbina, Zhicheng Liu,
• Abstract要約: データビジュアライゼーションのための自然言語インタフェース(NLI)は、そのような情報を推測する方法を模索してきたが、人間の発話に固有の不確実性のため、課題は続いている。 近年のLarge Language Models (LLM) の進歩はこれらの課題に対処するための道筋を提供するが、関連する意味情報を抽出する能力は未解明のままである。
• 参考スコア（独自算出の注目度）: 14.706166701856327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically generating data visualizations in response to human utterances on datasets necessitates a deep semantic understanding of the data utterance, including implicit and explicit references to data attributes, visualization tasks, and necessary data preparation steps. Natural Language Interfaces (NLIs) for data visualization have explored ways to infer such information, yet challenges persist due to inherent uncertainty in human speech. Recent advances in Large Language Models (LLMs) provide an avenue to address these challenges, but their ability to extract the relevant semantic information remains unexplored. In this study, we evaluate four publicly available LLMs (GPT-4, Gemini-Pro, Llama3, and Mixtral), investigating their ability to comprehend utterances even in the presence of uncertainty and identify the relevant data context and visual tasks. Our findings reveal that LLMs are sensitive to uncertainties in utterances. Despite this sensitivity, they are able to extract the relevant data context. However, LLMs struggle with inferring visualization tasks. Based on these results, we highlight future research directions on using LLMs for visualization generation.
• Abstract（参考訳）: データセット上の人間の発話に対応するデータ視覚化を自動的に生成するには、データ属性への暗黙的かつ明示的な参照、可視化タスク、必要なデータ準備ステップを含む、データ発話の深いセマンティック理解が必要である。 データビジュアライゼーションのための自然言語インタフェース(NLI)は、そのような情報を推測する方法を模索してきたが、人間の発話に固有の不確実性のため、課題は続いている。 近年のLarge Language Models (LLM) の進歩はこれらの課題に対処するための道筋を提供するが、関連する意味情報を抽出する能力は未解明のままである。 本研究では,4つのLLM(GPT-4,Gemini-Pro,Llama3,Mixtral)を評価し,不確実性が存在する場合でも発話を理解する能力について検討し,関連するデータコンテキストや視覚的タスクを特定する。 その結果,LLMは発話の不確実性に敏感であることが判明した。 この感度にもかかわらず、関連するデータコンテキストを抽出することができる。 しかし、LLMは可視化タスクの推測に苦労している。 これらの結果に基づき、可視化生成にLLMを使うことに関する今後の研究の方向性を強調した。

関連論文リスト

• Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering [66.5524727179286]
  NOVAは、幻覚を減らすための学習知識とよく一致した高品質なデータを特定するために設計されたフレームワークである。 内部整合性探索(ICP)とセマンティック等価同定(SEI)が含まれており、LLMが命令データとどれだけ親しみやすいかを測定する。 選択したサンプルの品質を確保するため,親しみ以上の特性を考慮した専門家による報酬モデルを導入する。
  論文  参考訳（メタデータ） (2025-02-11T08:05:56Z)
• Ontology Population using LLMs [0.9894420655516563]
  知識グラフ(KG)は、データ統合、表現、可視化にますます活用されている。 LLMはそのようなタスクに有望な機能を提供し、自然言語の理解とコンテンツ生成に優れています。 本研究では、Enslaved.org Hub Ontologyに着目し、KG集団に対するLLMの有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-03T15:39:20Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Beyond Fine-Tuning: Effective Strategies for Mitigating Hallucinations in Large Language Models for Data Analytics [0.0]
  大きな言語モデル(LLM)は自然言語処理においてますます重要になってきており、自然言語クエリによる高度なデータ分析を可能にしている。 これらのモデルはしばしば、重要なデータ駆動意思決定において信頼性を損なう「幻覚」や「偽情報」を生成する。 本研究は,LLMにおける幻覚の緩和,特にデータ分析の文脈において焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-26T00:45:42Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Large Language Models Understand Layout [6.732578061359833]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて異常な能力を示す。 テキスト理解能力以外にも,空間マーカーで表されるテキストレイアウトをLLMで処理できることが示されている。 レイアウト理解能力は,視覚的質問応答(VQA)システム構築に有用であることを示す。
  論文  参考訳（メタデータ） (2024-07-08T09:03:12Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Had enough of experts? Quantitative knowledge retrieval from large language models [4.091195951668217]
  大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。 我々は、専門家のような事前知識を抽出し、欠落したデータを出力することで、LLMを活用してベイズモデルを強化するフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-02-12T16:32:37Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。