論文の概要: Exploring Multimodal Prompt for Visualization Authoring with Large Language Models

• arxiv url: http://arxiv.org/abs/2504.13700v1
• Date: Fri, 18 Apr 2025 14:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 15:35:34.379651
• Title: Exploring Multimodal Prompt for Visualization Authoring with Large Language Models
• Title（参考訳）: 大規模言語モデルによる可視化オーサリングのためのマルチモーダルプロンプトの探索
• Authors: Zhen Wen, Luoxuan Weng, Yinghao Tang, Runjin Zhang, Yuxin Liu, Bo Pan, Minfeng Zhu, Wei Chen,
• Abstract要約: 可視化オーサリングの文脈において,大言語モデル(LLM)が不明瞭あるいは不完全なテキストプロンプトをどのように解釈するかを検討する。 テキストプロンプトに補完的な入力モダリティとして視覚的プロンプトを導入し,ユーザの意図を明らかにする。 テキストやスケッチ,直接操作など,マルチモーダルなプロンプトを使って視覚化を簡単に作成できるVisPilotを設計する。
• 参考スコア（独自算出の注目度）: 12.43647167483504
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in large language models (LLMs) have shown great potential in automating the process of visualization authoring through simple natural language utterances. However, instructing LLMs using natural language is limited in precision and expressiveness for conveying visualization intent, leading to misinterpretation and time-consuming iterations. To address these limitations, we conduct an empirical study to understand how LLMs interpret ambiguous or incomplete text prompts in the context of visualization authoring, and the conditions making LLMs misinterpret user intent. Informed by the findings, we introduce visual prompts as a complementary input modality to text prompts, which help clarify user intent and improve LLMs' interpretation abilities. To explore the potential of multimodal prompting in visualization authoring, we design VisPilot, which enables users to easily create visualizations using multimodal prompts, including text, sketches, and direct manipulations on existing visualizations. Through two case studies and a controlled user study, we demonstrate that VisPilot provides a more intuitive way to create visualizations without affecting the overall task efficiency compared to text-only prompting approaches. Furthermore, we analyze the impact of text and visual prompts in different visualization tasks. Our findings highlight the importance of multimodal prompting in improving the usability of LLMs for visualization authoring. We discuss design implications for future visualization systems and provide insights into how multimodal prompts can enhance human-AI collaboration in creative visualization tasks. All materials are available at https://OSF.IO/2QRAK.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、単純な自然言語によるオーサリングを可視化するプロセスを自動化する大きな可能性を示している。 しかし、自然言語を用いたLLMの指示は、視覚的意図を伝えるための精度と表現性に制限があり、誤解釈や時間のかかる反復に繋がる。 これらの制約に対処するため,LLMが不明瞭あるいは不完全なテキストプロンプトをどのように解釈するかを可視化オーサリングの文脈で理解し,LLMがユーザ意図を誤って解釈する条件を理解するための実証的研究を行った。 この結果から,テキストプロンプトに補完的な入力モダリティとして視覚的プロンプトを導入し,ユーザの意図を明確にし,LLMの解釈能力を向上させる。 ビジュアライゼーションにおけるマルチモーダルプロンプトの可能性を探るため,テキストやスケッチ,既存のビジュアライゼーションの直接操作など,マルチモーダルプロンプトを使ったビジュアライゼーションを簡単に作成できるVisPilotを設計した。 2つのケーススタディと制御されたユーザスタディを通じて、テキストのみのプロンプトアプローチと比較して、全体のタスク効率に影響を与えることなく、VisPilotがより直感的な可視化方法を提供することを示した。 さらに、異なる可視化タスクにおけるテキストと視覚的プロンプトの影響を分析する。 本研究は, 可視化オーサリングにおけるLCMのユーザビリティ向上におけるマルチモーダルプロンプトの重要性を強調した。 将来的な可視化システムの設計について論じ,創造的な可視化タスクにおいて,マルチモーダルプロンプトが人間とAIのコラボレーションを強化する方法について考察する。 すべての資料はhttps://OSF.IO/2QRAK.comで入手できる。

関連論文リスト

• Enhancing Advanced Visual Reasoning Ability of Large Language Models [20.32900494896848]
  VL(Vision-Language)研究の最近の進歩は、複雑な視覚的推論のための新しいベンチマークを引き起こした。 我々はCVR-LLM(Complex Visual Reasoning Large Language Models)を提案する。 提案手法は,反復的自己修正ループを用いて,画像の詳細なコンテキスト認識記述に変換する。 また、LLMの文脈的理解と推論を強化するために、新しいマルチモーダル・インコンテキスト学習(ICL)手法を導入する。
  論文  参考訳（メタデータ） (2024-09-21T02:10:19Z)
• Visual Prompting in Multimodal Large Language Models: A Survey [95.75225825537528]
  MLLM(Multimodal large language model)は、視覚機能を備えた事前訓練された多言語モデル(LLM)である。 ビジュアルプロンプトはよりきめ細かな自由形式のビジュアルインストラクションのために現れた。 本稿では,視覚的プロンプト,即時生成,構成的推論,即時学習に焦点をあてる。
  論文  参考訳（メタデータ） (2024-09-05T08:47:34Z)
• X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs [49.30255148577368]
  X-FormerはCLとMIMの相補的な強度を利用するために設計された軽量トランスフォーマーモジュールである。 X-Formerは、2つの凍結した視覚エンコーダから視覚言語表現学習とマルチモーダル・マルチモーダル生成学習をブートストラップする。 さらに、凍結したLLMから視覚から言語への生成学習をブートストラップし、X-Formerの視覚的特徴をLLMで解釈できるようにする。
  論文  参考訳（メタデータ） (2024-07-18T18:39:54Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
  MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。 ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。 本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-06-24T17:52:16Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々はDraw-and-Understandフレームワークを提案し、視覚的プロンプト理解機能をMLLM(Multimodal Large Language Models)に統合する方法を探る。 視覚的なプロンプトにより、ユーザーはマルチモーダルなインストラクションを通じて対話することができ、モデルの対話性ときめ細かなイメージ理解を高めることができる。 本稿では,様々な学習済みMLLMに適応し,様々な視覚的プロンプトを認識可能な汎用アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。