論文の概要: Dashboard2Code: Evaluating Multimodal Models on Reconstructing Interactive Dashboards
- arxiv url: http://arxiv.org/abs/2607.04727v1
- Date: Mon, 06 Jul 2026 06:58:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.065606
- Title: Dashboard2Code: Evaluating Multimodal Models on Reconstructing Interactive Dashboards
- Title（参考訳）: Dashboard2Code: インタラクティブダッシュボードの再構築におけるマルチモーダルモデルの評価
- Abstract要約: Dashboard2Codeは、インタラクティブなダッシュボードを積極的に探索し、自身のインタラクションからフィードバックを取得し、統合し、ターゲットダッシュボードを再生するコードを生成するための、新しいタスクである。
Dashboard2Codeの最初のPlotly+DashベンチマークであるDashboardMimicを紹介します。
視覚的およびインタラクションの整合性を評価するために,コードセマンティック分析と動的インタラクションベースのテストを組み合わせたダッシュボードに適した自動評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 50.38481199112112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic data visualization generation has advanced rapidly with multi-modal large language models, yet existing efforts largely focus on static charts and overlook the interactive dashboards commonly used for real-world data exploration. We introduce Dashboard2Code, a novel task that requires a model to proactively explore an interactive dashboard, acquire and integrate feedback from its own interactions (e.g., clicking and filtering), and generate code that reproduces the target dashboard. To support comprehensive evaluation, we present DashboardMimic, the first Plotly+Dash benchmark for Dashboard2Code, comprising 180 carefully designed and manually verified dashboard-code pairs spanning three difficulty levels and covering eight common real-world interaction patterns. We further propose an automated evaluation framework tailored to dashboards that combines code semantic analysis with dynamic interaction-based testing to assess visual and interaction consistency, showing strong agreement with human judgments. Experiments across a range of open- and closed-source multi-modal models reveal that even the strongest systems struggle on high-complexity dashboards and that a substantial performance gap remains between open-source and closed-source models on the Dashboard2Code task.
- Abstract（参考訳）: マルチモーダルな大規模言語モデルによって、自動データ可視化生成は急速に進歩しているが、既存の取り組みは静的チャートに重点を置いており、実際のデータ探索によく使用されるインタラクティブダッシュボードを見落としている。
Dashboard2Codeは、インタラクティブなダッシュボードを積極的に探索し、自身のインタラクション(例えば、クリックとフィルタリング)からフィードバックを取得し、統合し、ターゲットダッシュボードを再生するコードを生成するための、新しいタスクである。
Dashboard2Codeの最初のPlotly+DashベンチマークであるDashboardMimicでは、3つの難易度にまたがる180のダッシュボードコードペアを慎重に設計し手動で検証し、8つの実世界のインタラクションパターンをカバーする。
さらに、コード意味分析と動的相互作用に基づくテストを組み合わせて視覚的および相互作用的一貫性を評価するダッシュボードに適した自動評価フレームワークを提案し、人間の判断に強く一致することを示す。
さまざまなオープンソースおよびクローズドソースのマルチモーダルモデルに対する実験によると、最強のシステムでさえ、高複雑さのダッシュボードで苦労し、Dashboard2Codeタスク上のオープンソースモデルとクローズドソースモデルの間には大きなパフォーマンスギャップが残っている。
関連論文リスト
- DashArena: Benchmarking LLMs on Interactive Analytic Dashboard Generation [8.452268647068166]
私たちはDashArenaを紹介し、オープンエンドのタスクグラウンドでインタラクティブな分析ダッシュボードを生成するための最初のベンチマークを紹介します。
DashArenaでは、ダッシュボードと再生可能なインタラクショントラジェクトリの両方を生成するために、各システムが必要である。
ブラウザは軌道を再生し、システムの意図した分析ワークフローを再現可能な視覚的および実行証拠に変換する。
論文 参考訳（メタデータ） (2026-08-11T06:54:37Z) - MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs [40.317798580235]
VLMの最近のベンチマークは、単一の視点または限られた視点の知覚を主に評価し、視点をまたいだ観察を一貫性のある世界中心の(偏心的な)3Dメンタルモデルに統合するコア認知能力を未検証のまま残している。
我々は,総合的な3Dシーン理解のためのマルチビュー統合を評価するための診断ベンチマークであるMultiView-Benchを紹介する。
情報的視点を積極的に選択し、知覚し、多視点エビデンスを融合するマルチエージェントフレームワークであるViewNavigatorを提案する。
論文 参考訳（メタデータ） (2026-07-09T22:22:42Z) - WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation [56.5415838759151]
WBenchはインタラクティブな世界モデルを評価するための総合的なベンチマークである。
ビデオの品質、セッティングアテンジェンス、インタラクションアテンデンス、一貫性、物理コンプライアンスをカバーしている。
289件のテストケースと1,058件のインタラクション・ターンが含まれており、多様なシーン、スタイル、主題、一対三の視点をカバーしている。
論文 参考訳（メタデータ） (2026-05-25T14:01:31Z) - NL2Dashboard: A Lightweight and Controllable Framework for Generating Dashboards with LLMs [38.148675833251325]
ダッシュボード生成のための軽量フレームワークであるNL2Dashboardを提案する。
ダッシュボードの内容、レイアウト、視覚要素をカプセル化する構造化中間表現(IR)を導入する。
この枠組みに基づいて、IR駆動型アルゴリズムを一組のツールとしてインスタンス化するマルチエージェントシステムの開発を行う。
論文 参考訳（メタデータ） (2026-01-04T13:26:04Z) - Disentanglement Beyond Static vs. Dynamic: A Benchmark and Evaluation Framework for Multi-Factor Sequential Representations [14.972702558607557]
6つの異なるデータセット間での複数要素の逐次的絡み合いを評価するための、最初の標準ベンチマークを導入する。
本研究では,潜伏次元を意味因子と自動的に整列するポストホック潜伏探索段階を提案し,最先端の成果を達成できるクープマンモデルを提案する。
私たちのコードはGitHubで、データセットとトレーニングされたモデルはHugging Faceで利用可能です。
論文 参考訳（メタデータ） (2025-10-20T08:58:23Z) - DashboardQA: Benchmarking Multimodal Agents for Question Answering on Interactive Dashboards [44.69783955774917]
DashboardQAは、ビジュアル言語GUIエージェントが現実世界のダッシュボードをどのように理解し、相互作用するかを評価するために設計されたベンチマークである。
Tableau Publicから112のインタラクティブダッシュボードと、マルチ選択、ファクトイド、仮説、マルチダッシュボード、会話という5つのカテゴリにまたがる対話型ダッシュボードを備えた405の質問応答ペアが含まれている。
この結果から, インタラクティブなダッシュボード推論は, 総合的に評価されるすべてのVLMにおいて難しい課題であることがわかった。
論文 参考訳（メタデータ） (2025-08-24T15:11:44Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2025-07-07T12:53:00Z) - DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。
DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。
実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-09T14:04:21Z) - Towards Model-Driven Dashboard Generation for Systems-of-Systems [52.251635013691256]
本稿では、単純なダッシュボードモデルのリストをダッシュボードモデルに自動変換する、モデル駆動技術に依存しないアプローチについて述べる。
ダッシュボードのカスタマイズは抽象モデル表現を単に修正するだけで効率的に実現できる。
論文 参考訳（メタデータ） (2024-02-23T10:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。