論文の概要: Beyond Static Charts: Can Language and Vision Language Models Generate Interactive Data Visualization Interfaces?

• arxiv url: http://arxiv.org/abs/2609.26208v1
• Date: Tue, 11 Aug 2026 04:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.922243
• Title: Beyond Static Charts: Can Language and Vision Language Models Generate Interactive Data Visualization Interfaces?
• Title（参考訳）: 静的チャートを超えて: 言語とビジョン言語モデルはインタラクティブなデータ可視化インターフェースを生成することができるか?
• Abstract要約: 自然言語クエリからインタラクティブな可視化インタフェースをいかに生成できるかを評価するためのベンチマークであるVIS-GENを紹介する。 VIS-GENは、データフィルタリング、時間分析、視覚化編集を含む多種多様な分析意図をカバーする3,042のサンプルで構成されている。 我々は、14の最先端のオープンソースおよびクローズドソースのLLM/VLMをベンチマークし、暗黙の意図を含むクエリに対して大きなパフォーマンスギャップと頻繁な障害を明らかにした。
• 参考スコア（独自算出の注目度）: 7.587549953392403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data visualization is central to analytical reasoning, but real-world analysis increasingly requires language-driven interactive interfaces rather than static charts. Although recent large language and vision language models (LLMs/VLMs) have shown promise in generating static charts from natural language, their ability to generate interactive data visualization interfaces remains largely unexplored due to the lack of benchmarks. We introduce VIS-GEN, a benchmark for evaluating how well LLMs/VLMs can generate interactive visualization interfaces from natural language queries. VIS-GEN comprises 3,042 samples covering diverse analytical intents, including data filtering, temporal analysis, and visualization editing, each paired with dataset metadata and natural language queries that are designed to reflect realistic, goal driven data exploration scenarios. We benchmark 14 state-of-the-art open-source and closed-source LLMs/VLMs, revealing large performance gaps and frequent failures on queries involving implicit intent, multiple interaction alternatives, and complex editing operations, highlighting interactive interface generation as a key open challenge beyond static chart synthesis. To address this, we propose a structured multi stage interface generation framework that decomposes the task into visualization design representation, generation of multiple interface candidates, constraint-aware critique, and self-refinement. This approach improves the best models pass rate by 15.9 percentage points, demonstrating a practical path toward more reliable language-driven interactive visualization systems. We release VIS-GEN at https://github.com/vis-nlp/VIS-GEN.
• Abstract（参考訳）: データビジュアライゼーションは解析的推論の中心であるが、実世界の分析では静的チャートではなく言語駆動のインタラクティブインターフェースがますます求められている。 近年の大規模言語と視覚言語モデル (LLMs/VLMs) は、自然言語から静的チャートを生成することを約束している。 自然言語クエリから対話型ビジュアライゼーションインタフェースを,LLM/VLMがいかにうまく生成できるかを評価するためのベンチマークであるVIS-GENを紹介する。 VIS-GENは、データフィルタリング、時間分析、視覚化編集を含む多種多様な分析意図をカバーする3,042のサンプルで構成され、それぞれがデータセットメタデータと自然言語クエリと組み合わせて、現実的でゴール駆動のデータ探索シナリオを反映するように設計されている。 我々は14の最先端のオープンソースおよびクローズドソース LLM/VLM をベンチマークし、暗黙のインテント、複数のインタラクション代替品、複雑な編集操作を含むクエリにおける大きなパフォーマンスギャップと頻繁な障害を明らかにし、静的チャート合成以上の重要な課題としてインタラクティブインターフェース生成を強調した。 そこで本研究では,タスクを視覚化設計表現,複数インタフェース候補の生成,制約対応の批判,自己修正に分解する多段階インタフェース生成フレームワークを提案する。 このアプローチは最良モデルのパスレートを15.9ポイント改善し、より信頼性の高い言語駆動のインタラクティブな可視化システムへの実践的な道筋を示す。 私たちはVIS-GENをhttps://github.com/vis-nlp/VIS-GENでリリースします。

関連論文リスト

• MV-Bench: Benchmarking Multimodal Large Language Models for Coordinated Multi-View Interface Construction [17.735331983621958]
  本稿では,協調多視点インタフェース構築におけるMLLMの評価ベンチマークであるMV-Benchを紹介する。 不完全あるいは一貫性のないオープンソース実装に頼る代わりに、ワークブックファイルを基礎的な真実として使用しています。 視覚的忠実度, データバインディングの正確性, インタラクション完全性といった指標を用いて, シングルパス環境での5つの最先端MLLMの評価を行った。
  論文  参考訳（メタデータ） (2026-07-22T08:42:55Z)
• Generative Interfaces for Language Models [70.25765232527762]
  ユーザインタフェース(UI)を積極的に生成することにより,大規模言語モデル(LLM)がユーザクエリに応答するパラダイムを提案する。 本フレームワークは,ユーザクエリをタスク固有のUIに変換するために,構造化インターフェース固有の表現と反復的洗練を活用している。 その結果、生成的インタフェースは人間の嗜好を最大72%改善し、会話的インタフェースよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-08-26T17:43:20Z)
• Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining [67.87810796668981]
  インフォメーション・インフォメーション・インフォメーション・クロッピング(ISC)と自己精製デュアルラーニング(SRDL) Irisは850KのGUIアノテーションだけで、複数のベンチマークで最先端のパフォーマンスを実現している。 これらの改善は、WebとOSエージェントの両方の下流タスクで大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-13T18:40:10Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• VisEval: A Benchmark for Data Visualization in the Era of Large Language Models [12.077276008688065]
  事前訓練された大規模言語モデル(LLM)の最近の進歩は、自然言語から可視化を生成するための新たな道を開いた。 本稿では,新しいNL2VISベンチマークであるVisEvalを提案する。 このデータセットには、146のデータベースをカバーする2,524の代表的なクエリが含まれており、正確にラベル付けされた基底真理とペアリングされている。
  論文  参考訳（メタデータ） (2024-07-01T05:35:30Z)
• Multi-Granularity Language-Guided Training for Multi-Object Tracking [95.91263758294154]
  本稿では,多目的追跡フレームワークLG-MOTを提案する。 推測では、LG-MOTは注釈付き言語記述に頼ることなく、標準的な視覚機能を使用します。 我々のLG-MOTは、視覚的特徴のみを用いたベースラインと比較して、目標対象関連(IDF1スコア)において、絶対的な2.2%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-06-07T11:18:40Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。