論文の概要: RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development

• arxiv url: http://arxiv.org/abs/2610.26826v1
• Date: Mon, 19 Oct 2026 17:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:06:52.342001
• Title: RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
• Title（参考訳）: RefCraft: Web開発によるビジュアル参照型エージェント生成のベンチマーク
• Abstract要約: RefCraftは300のリアルなマルチモーダルWebページ開発タスクからなるベンチマークである。 自然言語命令と1から5つの参照Webページのスクリーンショットを組み合わせる。 我々は、独立に検証可能なキーポイントと相補的なプログラムおよびVLM判定器を用いて、結果のオープンエンドアーティファクトを評価する。
• 参考スコア（独自算出の注目度）: 63.297263622077615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beyond basic tool use and coding skills, effectively incorporating visual references into agentic generation is equally essential for applying AI agents to real-world productivity tasks. We study this crucial capability through webpage development, a practical and readily evaluable setting in which existing benchmarks remain largely idealized: they typically focus on reconstructing visual targets or generating webpages from textual instructions alone, overlooking the more common workflow of developing from visual examples. Specifically, we introduce RefCraft, a benchmark comprising 300 realistic multimodal webpage-development tasks that combine natural-language instructions with screenshots from one to five reference webpages. Agents must selectively interpret and utilize these references while rendering, visually inspecting, and iteratively refining their outputs. We evaluate the resulting open-ended artifacts using independently verifiable keypoints and complementary programmatic and VLM judges. Across nine frontier (M)LLMs, the strongest system achieves an overall score of only 52.12 out of 100, revealing that visual-reference-conditioned agentic generation remains a substantial challenge for current models in practical webpage-development settings.
• Abstract（参考訳）: 基本的なツールの使用やコーディングスキル以外にも、エージェント生成に視覚的参照を効果的に組み込むことは、現実の生産性タスクにAIエージェントを適用する上でも同様に重要である。 既存のベンチマークは、視覚的なターゲットの再構築や、テキストによる指示だけでWebページを生成することに集中し、視覚的な例から開発するより一般的なワークフローを見越す。 具体的には、自然言語命令と1から5つの参照Webページのスクリーンショットを組み合わせた300のリアルなマルチモーダルWebページ開発タスクからなるベンチマークであるRefCraftを紹介する。 エージェントは、レンダリング中にこれらの参照を選択的に解釈し、利用し、視覚的に検査し、出力を反復的に修正する必要がある。 我々は、独立に検証可能なキーポイントと相補的なプログラムおよびVLM判定器を用いて、結果のオープンエンドアーティファクトを評価する。 9つのフロンティア(M)LLM全体で、最強のシステムは100点中52.12点のスコアを達成し、視覚参照条件のエージェント生成は、実用的なWebページ開発環境での現在のモデルにとって大きな課題であることを示した。

関連論文リスト

• FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback [92.67587639164908]
  マルチモーダルフィードバックを備えたフロントエンドコード生成のベンチマークであるFronTalkを紹介する。 我々は、フロントエンド開発タスクに集中し、100のマルチターン対話のコレクションであるFronTalkをキュレートする。 20モデルの評価は、文献で体系的に調査されていない2つの重要な課題を明らかにしている。
  論文  参考訳（メタデータ） (2025-12-05T23:28:09Z)
• IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
  IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。 IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。 このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
  論文  参考訳（メタデータ） (2025-09-29T12:38:06Z)
• VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks [93.85005277463802]
  VisualWebArenaは、マルチモーダルWebエージェントのパフォーマンスを現実的なタスクで評価するために設計されたベンチマークである。 このベンチマークを実行するには、イメージテキスト入力を正確に処理し、自然言語命令を解釈し、ユーザが定義した目的を達成するためにウェブサイト上でアクションを実行する必要がある。
  論文  参考訳（メタデータ） (2024-01-24T18:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。