論文の概要: Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents

• arxiv url: http://arxiv.org/abs/2608.25417v1
• Date: Wed, 26 Aug 2026 06:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.617337
• Title: Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents
• Title（参考訳）: 絵の具:マルチモーダルエージェントで使用される有害なビジュアルツールのベンチマーク
• Abstract要約: この分野における重要で未探索の能力 - 繊細なビジュアルツールの使用 - を特定します。 既存のベンチマークでは、Webナビゲーション、GUI操作、ソフトウェアエンジニアリングがカバーされている。 本稿では,視覚的ツール使用の制御されたインスタンスを評価するベンチマークであるEASELを提案する。
• 参考スコア（独自算出の注目度）: 14.940946245813336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluation is shifting from static QA toward agentic settings where models act through external tools. We identify a critical yet underexplored capability within this space - dexterous visual tool use: fine-grained, closed-loop parameterized visual action in which models infer tool parameters from visual evidence, and those parameters directly govern the final result. Existing benchmarks cover web navigation, GUI operation, and software engineering, but rarely target this coupling between visual evidence and execution precision. We propose EASEL, a benchmark evaluating a controlled instance of dexterous visual tool use that adopts reference-guided visual reconstruction as its primary proxy task: the agent incrementally paints a canvas to match a reference image. EASEL additionally includes semantic tasks spanning region annotation, handwriting, and path planning. We further provide EASEL-Data, a 440k-sample two-stage curriculum dataset for trajectory supervision, and EASEL-9B to investigate its effect on this capability. Evaluation of 25 models reveals that current multimodal agents systematically struggle on EASEL. Reconstruction similarity bottlenecks at low levels (0.40-0.54), while trajectory diagnostics expose severe closed-loop instability - models typically saturate early or degrade post-peak. Semantic tasks reveal sharp capability boundaries in precision annotation and path planning. EASEL-9B, trained on EASEL-Data, surpasses the base model by a relative 6.3%, ranking third among all evaluated models.
• Abstract（参考訳）: 評価は、静的なQAから、モデルが外部ツールを介して機能するエージェント的な設定へとシフトしている。 細粒度でクローズドループなパラメータ化ビジュアルアクションでは、モデルがツールパラメータを視覚的エビデンスから推論し、それらのパラメータが最終結果を直接支配する。 既存のベンチマークでは、Webナビゲーション、GUI操作、ソフトウェアエンジニアリングをカバーしているが、視覚的エビデンスと実行精度の結合を狙うことは滅多にない。 EASELは、参照誘導視覚再構成を主要なプロキシタスクとして採用し、参照画像と一致するようにキャンバスを漸進的にペイントするデクスタラス視覚ツールの制御インスタンスを評価するベンチマークである。 EASELには、リージョンアノテーション、手書き、パス計画にまたがるセマンティックタスクも含まれている。 さらに,440kサンプル2段階の軌道監視用カリキュラムデータセットであるEASEL-DataとEASEL-9Bを提供し,その能力への影響について検討する。 25モデルの評価は、現在のマルチモーダルエージェントがEASELに対して体系的に苦労していることを明らかにする。 低レベル (0.40-0.54) でのリコンストラクション類似性のボトルネックに対して、軌道診断では厳密な閉ループ不安定が露呈する。 セマンティックなタスクは、精度アノテーションとパス計画における鋭い能力境界を明らかにする。 EASEL-9BはEASEL-Dataで訓練され、ベースモデルの6.3%を上回り、評価された全てのモデルの中で3位となった。

関連論文リスト

• Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models [74.1961755473754]
  既存の評価手法は、特定のユーザのニーズを見落とし、明確な説明なしに数値的な結果を提供する厳密なパイプラインに依存している。 本研究では,効率的,動的,多ラウンドな評価に人間的な戦略を用いる評価エージェントフレームワークを提案する。 その結果,評価エージェントは評価時間を従来の手法の10%に短縮し,比較結果が得られた。
  論文  参考訳（メタデータ） (2026-08-10T14:42:10Z)
• MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
  本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。 このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。 マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
  論文  参考訳（メタデータ） (2026-07-13T17:13:09Z)
• VESTA: Visual Exploration with Statistical Tool Agents [56.76643750765825]
  VESTA: 統計ツールエージェントを用いたビジュアル探索について紹介する。 VESTAの動的ツール生成は、以前のエージェントパイプラインよりも優れていることを示す。 また,分散フィッティングと時系列を対象とするベンチマークであるDAWNについても紹介する。
  論文  参考訳（メタデータ） (2026-05-29T21:57:37Z)
• Employing Vision-Language Models for Face Image Quality Assessment [0.023141219541346198]
  顔画像品質評価(FIQA)はバイオメトリックパイプラインにおいて重要な制御ステップである。 最先端のFIQA法は高い実用性を達成するが、通常「ブラックボックス」として機能する ゼロショット環境でFIQAを実行することにより,このギャップを埋めるため,市販のビジョンランゲージモデル(VLM)の可能性を検討する。
  論文  参考訳（メタデータ） (2026-05-17T14:57:52Z)
• ATP-Bench: Towards Agentic Tool Planning for MLLM Interleaved Generation [14.85015534787527]
  インターリーブされたテキスト・画像生成は、複雑な情報を伝えるためのより直感的な方法を提供する。 現在のパラダイムは、イメージ生成または検索拡張のいずれかに依存しており、クリエイティビティと事実を統一することができない。 この分野での次のマイルストーンはエージェントツールプランニングであり、モデルがいつ、どこで、どのツールを起動して、視覚的にクリティカルなクエリに対してインターリーブされた応答を生成するかを自律的に決定する中心的なコントローラとして機能する。
  論文  参考訳（メタデータ） (2026-03-31T15:47:59Z)
• AgentSkiller: Scaling Generalist Agent Intelligence through Semantically Integrated Cross-Domain Data Synthesis [30.512393568258105]
  大規模言語モデルエージェントは、ツールを介して現実世界の問題を解決する可能性を実証するが、汎用的な知性は、質の低い長期データによってボトルネックとなる。 本稿では,現実的なセマンティックなドメイン間でのマルチターンインタラクションデータを合成する,完全に自動化されたフレームワークであるAgentSkillerを提案する。
  論文  参考訳（メタデータ） (2026-02-10T03:21:42Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement [58.957050610762565]
  ShowTableは、プログレッシブな自己修正プロセスを通じて、MLLMと拡散モデルとを相乗化するパイプラインである。 MLLMは視覚計画の推論と視覚的誤りの判断において中心的なオーケストレータとして機能する。 TableVisBenchは、5つの評価次元に800の挑戦的なインスタンスを持つ新しいベンチマークです。
  論文  参考訳（メタデータ） (2025-12-15T13:21:50Z)
• ASTRA: A Scene-aware TRAnsformer-based model for trajectory prediction [15.624698974735654]
  ASTRA (A Scene-aware TRAnsformer based model for trajectory prediction) は軽量な歩行者軌道予測モデルである。 我々は、U-Netベースの特徴抽出器を用いて、その潜在ベクトル表現を用いて、シーン表現をキャプチャし、グラフ対応トランスフォーマーエンコーダを用いて、ソーシャルインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2025-01-16T23:28:30Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。