論文の概要: ReFigBench: Benchmarking Scientific Figure Reconstruction as Editable PowerPoint Artifacts
- arxiv url: http://arxiv.org/abs/2609.18844v1
- Date: Wed, 16 Sep 2026 15:51:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.875326
- Title: ReFigBench: Benchmarking Scientific Figure Reconstruction as Editable PowerPoint Artifacts
- Title（参考訳）: ReFigBench: 編集可能なPowerPointアーティファクトとして科学的フィギュア再構築のベンチマーク
- Abstract要約: 本研究では,ソースイメージを編集可能なPowerPointスライドにする必要があるエージェントタスクである,科学的概要図の再構築について検討する。
ReFigBenchは、arXiv論文から得られた1000の実際の概要図に基づいて構築された、ベンチマークおよび評価フレームワークである。
- 参考スコア（独自算出の注目度）: 12.685368540985882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal coding agents are expected to turn visual inputs into usable artifacts, and they act through a harness, the layer of tools, context management, and execution environment around the model. Existing evaluations often isolate short tool calls, API traces, or screenshot resemblance, and a low score under these proxies cannot say whether the model saw poorly, planned poorly, or was failed by its harness. We study scientific overview figure reconstruction, an agent task in which a source image must become an editable PowerPoint slide that preserves text, topology, layout, and native document structure. We introduce ReFigBench, a benchmark and evaluation framework built on 1,000 real overview figures retrieved from arXiv papers with full provenance. Coding agents from four model families reconstruct every figure under two workflows, direct code generation and a specialized PPTX workflow, and the strongest model runs inside two commercial harnesses, yielding ten configurations. Evaluation combines deterministic artifact checks, repeated automated scoring by judges from two model families, and blinded human comparisons. Perception remains a bottleneck that iterative rendering only partly repays. Whether workflow effort converts into quality depends on the model together with its harness, since the same model gains from the specialized workflow inside one harness and loses inside the other, and the harness shifts scores even under an identical direct prompt. The specialized workflow erases native connectors in every configuration, human judges still prefer its renderings in most matchups, and even the strongest agent falls short of the rubric ceiling. These results expose the tension between fidelity and editability as the central challenge for practical multimodal document agents.
- Abstract（参考訳）: マルチモーダルコーディングエージェントは、視覚的な入力を使用可能なアーティファクトに変換することが期待されている。
既存の評価では、短いツールコール、APIトレース、スクリーンショットの類似点を分離することが多い。
本研究では,テキスト,トポロジ,レイアウト,ネイティブ文書構造を保存したPowerPointスライドを,ソースイメージが編集可能でなければならないエージェントタスクである,科学的概要図の再構築について検討する。
ReFigBenchは、arXiv論文から得られた1000の実際の概要図に基づいて構築されたベンチマークおよび評価フレームワークである。
4つのモデルファミリーのコーディングエージェントは、2つのワークフロー、直接コード生成と特殊なPTXワークフローの下ですべてのフィギュアを再構築する。
評価は、決定論的アーティファクトチェックと、2つのモデルファミリーの審査員による繰り返しの自動スコアと、盲目な人間比較を組み合わせる。
認識は繰り返しレンダリングが部分的に返済するだけというボトルネックのままです。
1つのハーネス内の特別なワークフローから同じモデルが得られ、もう1つのハーネス内で失われ、ハーネスは同じ直接的なプロンプトの下でもスコアがシフトする。
特別なワークフローは、すべての構成でネイティブコネクタを消去し、人間の裁判官は依然としてほとんどのマッチアップでレンダリングを好む。
これらの結果は, 実用マルチモーダル文書エージェントの中心的課題として, 忠実度と編集可能性の緊張感を浮き彫りにしている。
関連論文リスト
- Embodied-BenchForge: A Closed-Loop Agentic Workflow for Embodied Benchmark Construction [18.03387691479464]
Embodied-BenchForgeは、ユーザが指定した評価意図を完全なベンチマークアーティファクトに変換するエージェントフレームワークである。
クローズドループベンチマーク合成として構築を定式化し、前方のアーティファクトと後方の検証と修復を統合する。
論文 参考訳（メタデータ） (2026-09-11T17:16:01Z) - DrawAI: Agentic Benchmark and Workflow for Making Raster Images Editable [10.070492917829995]
本稿では,エージェントベンチマークであるDrawAI-Benchと再構築ワークフローであるDrawAI-Flowを紹介する。
画像から直接操作可能なアーティファクトを復元し、その視覚的・意味的な内容を保存する。
その結果,再現性やコストはモデルハーネス構成によって大きく異なるが,DrawAI-Flowは一貫して編集可能な構造を改善していることがわかった。
論文 参考訳（メタデータ） (2026-08-01T09:05:06Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - CV-Arena: An Open Benchmark for Instructional Computer Vision Problem Solving with Human-AI Collaborative Preferences [51.86576932800981]
CV-Arenaは、プロの規模でこの能力を評価するために設計されたオープンベンチマークである。
CV-Arenaは16の命令ベースの視覚タスクタイプにまたがる12Kの高解像度実像命令ペアを含んでいる。
我々は,計画,編集,検証を組み合わせた軽量エージェントモデルCV-Agentを開発した。
論文 参考訳（メタデータ） (2026-05-30T23:37:55Z) - Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs [62.54193387399707]
我々は,学術的な図形から出版品質のイラストを自動生成するシステムを開発した。
Crafterは、アーキテクチャの変更なしにフィギュアタイプを一般化するマルチエージェントのハーネスフィギュア生成である。
CraftEditorは、出力を編集可能なSVGに変換する。
論文 参考訳（メタデータ） (2026-05-28T22:04:30Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration [10.076972559007116]
ARIS(Auto-Research-in-sleep)は、自律的な研究のためのオープンソースの研究ハーネスである。
ARISは、クロスモデル対外コラボレーションを通じて機械学習の研究を調整する。
論文 参考訳（メタデータ） (2026-05-04T18:10:15Z) - 1D-Bench: A Benchmark for Iterative UI Code Generation with Visual Feedback in Real-World [5.904589000032003]
実電子商取引を基盤としたベンチマークである1D-Benchを導入し、各インスタンスが参照レンダリングとエクスポート中間表現を提供する。
1Dは1日で短く、設計からコーディングまでのタスクを1日以内で効率的に完了する。
論文 参考訳（メタデータ） (2026-02-20T17:46:51Z) - UniREditBench: A Unified Reasoning-based Image Editing Benchmark [52.54256348710893]
この研究は、推論に基づく画像編集評価のための統一ベンチマークUniREditBenchを提案する。
精巧にキュレートされた2,700個のサンプルからなり、8つの一次次元と18のサブ次元にわたる実世界シナリオとゲーム世界のシナリオをカバーしている。
このデータセットにBagelを微調整し、UniREdit-Bagelを開発した。
論文 参考訳（メタデータ） (2025-11-03T07:24:57Z) - List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-02-05T06:52:53Z) - Self-supervised Deep Reconstruction of Mixed Strip-shredded Text
Documents [63.41717168981103]
本研究は,従来の1ページ再構成の深層学習手法を,より現実的で複雑なシナリオに拡張する。
本手法では, 整合性評価を2クラス(無効または無効)パターン認識問題としてモデル化する。
提案手法は複雑なシナリオにおいて競合する手法よりも優れ、90%以上の精度で精度が向上する。
論文 参考訳（メタデータ） (2020-07-01T21:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。