論文の概要: IChart2Code: Benchmarking Multimodal Large Language Models for Interactive Chart Code Generation
- arxiv url: http://arxiv.org/abs/2609.32413v1
- Date: Sat, 26 Sep 2026 09:40:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 09:27:04.353482
- Title: IChart2Code: Benchmarking Multimodal Large Language Models for Interactive Chart Code Generation
- Title（参考訳）: IChart2Code:インタラクティブチャートコード生成のためのマルチモーダル大言語モデルのベンチマーク
- Abstract要約: インタラクティブなチャートコード生成には、参照チャートの外観と基盤となるデータを再現するモデルが必要である。
既存のチャート・トゥ・コードベンチマークでは静的なアウトプットに重点を置いており、インタラクション仕様やブラウザの実行、インタラクション後の検証のためのタスク表現や評価プロトコルが欠如している。
IChart2Codeは、20のチャート形式と13のデータファミリーにわたる377のタスクからなるベンチマークであり、6つのファミリーで1209のインタラクション要求がある。
- 参考スコア（独自算出の注目度）: 11.917166961984114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive chart code generation requires models to reproduce a reference chart's appearance and underlying data and correctly implement the state changes triggered by specified user interactions. Existing chart-to-code benchmarks focus on static outputs and lack task representations or evaluation protocols for interaction specification, browser execution, and post-interaction verification. We introduce IChart2Code, a benchmark comprising 377 tasks across 20 chart forms and 13 data families, with 1209 interaction requirements in six families. Each task provides a reference screenshot, task-local data, and natural-language interaction requirements, with executable HTML/JavaScript code as the target output. We further develop a browser-based evaluation protocol with an Executability gate and three rubric-guided dimensions: Data Fidelity, Static Visual Correctness, and Interaction Correctness. The protocol tests runtime viability, consistency with task-local data, fidelity of the initial rendering to the reference screenshot, and interaction-induced state changes in a sandboxed browser. A rubric-guided MLLM judge evaluates task-specific items for the three scored dimensions using the collected browser observations and achieves an overall item-level F1 score of 0.8844 against adjudicated human labels. We also propose TRAIL, a trajectory-guided dual-agent framework for interactive chart code generation. An Inspector derives task-specific inspection checks, executes them in the browser, and uses the resulting trajectories to diagnose failures and produce structured repair feedback. Averaged across four MLLMs, TRAIL improves the four evaluation dimensions over direct prompting by 7.89, 4.98, 3.45, and 4.47 percentage points, respectively.
- Abstract（参考訳）: インタラクティブなチャートコード生成には、参照チャートの外観と基礎となるデータを再現し、指定されたユーザインタラクションによって引き起こされる状態変化を正しく実装する必要がある。
既存のチャート・トゥ・コードベンチマークでは静的なアウトプットに重点を置いており、インタラクション仕様やブラウザの実行、インタラクション後の検証のためのタスク表現や評価プロトコルが欠如している。
IChart2Codeは、20のチャート形式と13のデータファミリーにわたる377のタスクからなるベンチマークであり、6つのファミリーで1209のインタラクション要求がある。
各タスクは、ターゲット出力として実行可能なHTML/JavaScriptコードを備えた参照スクリーンショット、タスクローカルデータ、自然言語インタラクション要件を提供する。
さらに、実行可能性ゲートと3つのルーリック誘導次元を持つブラウザベースの評価プロトコル、すなわち、データの忠実性、静的視覚的正確性、インタラクションの正確性を開発した。
プロトコルは実行時の生存可能性、タスクローカルデータとの整合性、参照スクリーンショットへの初期レンダリングの忠実性、サンドボックスブラウザでのインタラクションによって引き起こされる状態変化をテストする。
ルーリック誘導MLLM判定器は、収集したブラウザ観測値を用いて、3つの評価された次元のタスク固有項目を評価し、調整された人間ラベルに対して全体のアイテムレベルF1スコア0.8844を達成する。
また,対話型チャートコード生成のためのトラジェクトリ誘導型デュアルエージェントフレームワークTRAILを提案する。
インスペクタはタスク固有の検査チェックを導出し、ブラウザで実行し、その結果の軌跡を使って障害を診断し、構造化された修理フィードバックを生成する。
4つのMLLMで平均されるTRAILは、それぞれ7.89、4.98、3.45、および4.47パーセンテージの4つの評価次元を改善している。
関連論文リスト
- WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts [46.85286238215375]
MLLM生成Webアーティファクトの既存のベンチマークは、局所的な証拠を通じて相互作用を評価する。
タスク要求をインタラクションコントラクトグラフにコンパイルするWebRISEを紹介します。
論文 参考訳（メタデータ） (2026-06-02T06:29:40Z) - TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories [61.51984029109709]
グラフベースのフレームワークであるTraceGraphを紹介した。
各タスクに対して、TraceGraphは、モデルIDが導入される前に、プールされたロールアウトから観測可能なアクション・オブザーブレーション状態のグラフを構築する。
次に、結果インフォームされた生産的なコアとトラップリージョンをオーバーレイし、各ロールアウトを3つのイベント – アクセス、トラップ露出、修復 – で要約する。
論文 参考訳（メタデータ） (2026-05-29T13:40:31Z) - VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents [25.141059096863255]
VISTAは、LLMベースのエージェントのエンドツーエンドのWebアプリケーション生成機能を評価するためのベンチマークである。
視覚的/構造的忠実度とスタック制約の2つの軸に沿って変化する5つのプロンプト情報条件を定義する。
ベンチマークの各ページは、インタラクティブなUIコンポーネントと約3つの視覚的アンカーポイントで手動で注釈付けされる。
論文 参考訳（メタデータ） (2026-05-22T20:29:12Z) - CharTide: Data-Centric Chart-to-Code Generation via Tri-Perspective Tuning and Inquiry-Driven Evolution [23.66187133157774]
CharTideは、チャート・ツー・コード生成のための新しいデータ中心のフレームワークである。
トレーニングを視覚的知覚、純粋テキストのコードロジック、モダリティの融合ストリームに明確に分離する。
ChartMimic、Plot2Code、ChartXの実験によると、ChartTide-7B/8Bはオープンソースベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2026-04-24T03:39:51Z) - vla-eval: A Unified Evaluation Harness for Vision-Language-Action Models [58.633451339058986]
VLAモデルは一般的に、各モデルリポジトリによって独立して維持されるベンチマークスクリプト毎に評価される。
本稿では、ベンチマーク実行からモデル推論を分離するオープンソースの評価ハーネスであるvla evalを紹介する。
完全な評価では、vla eval serveとvla eval runの2つのコマンドしか必要としない。
論文 参考訳（メタデータ） (2026-03-14T14:38:53Z) - From Charts to Code: A Hierarchical Benchmark for Multimodal Models [13.754978548475627]
Chart2Codeは、大規模マルチモーダルモデル(LMM)のチャート理解とコード生成能力を評価するための新しいベンチマークである。
レベル1(Chart Reproduction)は、参照図とユーザクエリからチャートを再現する。レベル2(Chart Editing)は、チャートタイプの変更や要素の追加といった複雑な変更を伴う。
私たちの知る限り、これは、タスクの複雑さを体系的にスケーリングしながら、実用的なChart2codeの使用を反映する最初の階層的なベンチマークです。
論文 参考訳（メタデータ） (2025-10-20T15:11:56Z) - GTA1: GUI Test-time Scaling Agent [97.58177633084915]
グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。
本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
論文 参考訳（メタデータ） (2025-07-08T08:52:18Z) - Benchmarking Multimodal RAG through a Chart-based Document Question-Answering Generation Framework [17.838177710655287]
MRAG(Multimodal Retrieval-Augmented Generation)は、外部知識を統合することで推論能力を向上させる。
既存のベンチマークは主に、現実世界のアプリケーションで広く使われているチャートのような複雑なビジュアルフォーマットを見渡す、単純な画像とテキストのインタラクションに焦点を当てている。
本稿では、構造化キーポイント抽出、クロスモーダル検証、キーポイントベース生成による評価データを生成するフレームワークであるCHARGE(CHARt-based document question-anwering GEneration)を提案する。
論文 参考訳（メタデータ） (2025-02-20T18:59:42Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。