論文の概要: Vision-as-a-Tool: Visual Harness for Multimodal Agentic Coding
- arxiv url: http://arxiv.org/abs/2611.17797v1
- Date: Fri, 13 Nov 2026 06:23:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.316432
- Title: Vision-as-a-Tool: Visual Harness for Multimodal Agentic Coding
- Title(参考訳): Vision-as-a-Tool:マルチモーダルエージェント符号化のための視覚的ハーネス
- Abstract要約: マルチモーダルエージェントコーディングは、観測を分析し、生成されたアーティファクトを評価するために、堅牢な視覚的推論を必要とする。
汎用多目的大言語モデル(MLLM)をコール可能な外部ユーティリティとして再構成するVision-as-a-Tool(VaaT)パラダイムを導入する。
VHarnessは、テキストのみとマルチモーダルの両方の符号化エージェントの視覚的忠実度と幾何学的精度を一貫して改善する。
- 参考スコア(独自算出の注目度): 69.9445720038302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal agentic coding requires robust visual reasoning to analyze observations and evaluate generated artifacts. Current frameworks largely rely on a Thinking-with-Images paradigm, where agents depend on their intrinsic vision to execute visually grounded tasks. However, this architectural coupling introduces a fundamental bottleneck. Agent performance remains strictly bounded by internal perceptual limitations. Furthermore, text-only agents lack native perception. Without specialized tools, they cannot perform visual reasoning. To overcome these constraints, we introduce the Vision-as-a-Tool (VaaT) paradigm. Prior visual tool-use merely manipulates images for an agent's intrinsic vision to read. In contrast, VaaT reframes general-purpose multimodal large language models (MLLMs) as callable external utilities. As a result, text-only agents can completely offload visual reasoning during agentic execution. Meanwhile, vision-capable agents can dynamically augment their native perception on demand. We instantiate this paradigm in VHarness, a unified framework driven by five atomic actions. We comprehensively evaluate VHarness across Image-to-HTML, Image-to-SVG, and Image-to-3D generation tasks. Experimental results demonstrate that VHarness consistently improves visual fidelity and geometric accuracy across both text-only and multimodal coding agents. These findings highlight that modularizing visual reasoning into callable utilities provides a flexible and scalable foundation for future agentic coding systems.
- Abstract(参考訳): マルチモーダルエージェントコーディングは、観測を分析し、生成されたアーティファクトを評価するために、堅牢な視覚的推論を必要とする。
現在のフレームワークはシンキング・ウィズ・イメージのパラダイムに大きく依存している。
しかし、このアーキテクチャの結合は根本的なボトルネックをもたらします。
エージェントのパフォーマンスは、内部知覚の制限によって厳格に制限されている。
さらに、テキストのみのエージェントはネイティブな認識を欠いている。
専門的なツールがなければ、視覚的推論はできない。
これらの制約を克服するために、Vision-as-a-Tool(VaaT)パラダイムを導入する。
従来の視覚ツールの使用は、エージェントの本質的な視覚のイメージを単に操作するだけである。
対照的にVaaTは、汎用マルチモーダル言語モデル(MLLM)を呼び出し可能な外部ユーティリティとして再設計している。
その結果、テキストのみのエージェントはエージェント実行中に視覚的推論を完全にオフロードすることができる。
一方、視覚能力のあるエージェントは、需要に対する彼らのネイティブな認識を動的に増強することができる。
5つのアトミックアクションによって駆動される統一されたフレームワークであるVHarnessで、このパラダイムをインスタンス化する。
我々は、画像からHTML、画像からSVG、画像から3D生成タスクのVHarnessを総合的に評価する。
実験結果から,VHarnessはテキストのみの符号化エージェントとマルチモーダルな符号化エージェントの両方において,視覚的忠実度と幾何的精度を一貫して改善することが示された。
これらの知見は、視覚的推論を呼び出し可能なユーティリティにモジュール化することで、将来のエージェントプログラミングシステムに柔軟でスケーラブルな基盤を提供することを示している。
関連論文リスト
- How Far Can Coding Agents Go in Visual Generation? [46.80064587266603]
実行可能プログラムを通して画像を構成する汎用符号化エージェントについて検討する。
AgentDrawBenchにおけるゼロショット描画の研究により,特徴的特徴が明らかになった。
本稿では、図形言語間の視覚的操作を共用し、構成的に構成された表現が支援される内部視覚言語・思考仮説について検討する。
論文 参考訳(メタデータ) (2026-10-13T18:18:41Z) - LanteRn: Latent Visual Structured Reasoning [7.141402207573525]
本稿では,視覚的推論を潜在空間で直接実行可能にするフレームワークであるLanteRnを紹介する。
LanteRnは、推論中に連続的な視覚的思考の埋め込みを生成し、参加する能力を持つ視覚言語変換器を増強する。
我々はLanteRnを3つの知覚中心ベンチマーク(VisCoT, V*, Blink)で評価する。
論文 参考訳(メタデータ) (2026-03-26T16:41:59Z) - Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。
Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。
VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
論文 参考訳(メタデータ) (2026-03-13T17:58:14Z) - Training Multi-Image Vision Agents via End2End Reinforcement Learning [51.81337984526068]
我々は、エンドツーエンドの強化学習によって訓練されたオープンソースの視覚エージェントであるIMAgentを提案する。
マルチエージェントシステムを利用することで、困難かつ視覚的にリッチなマルチイメージQAペアを生成する。
我々は、視覚的反射と確認のための2つの特別なツールを開発し、モデルが積極的に画像コンテンツに注意を向けることを可能にする。
論文 参考訳(メタデータ) (2025-12-05T10:02:38Z) - MageBench: Bridging Large Multimodal Models to Agents [90.59091431806793]
LMMは印象的な視覚的理解能力を示しており、エージェントに適用される可能性がある。
既存のベンチマークは、主に言語部分における推論能力を評価する。
MageBenchは推論機能指向のマルチモーダルエージェントベンチマークである。
論文 参考訳(メタデータ) (2024-12-05T17:08:19Z) - VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。
VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。
様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
論文 参考訳(メタデータ) (2024-10-21T18:10:26Z) - InsightSee: Advancing Multi-agent Vision-Language Models for Enhanced Visual Understanding [12.082379948480257]
本稿では,複雑な視覚理解シナリオを扱う上で,視覚言語モデルの能力を高めるためのマルチエージェントフレームワークであるInsightSeeを提案する。
このフレームワークは、視覚情報解釈のプロセスを洗練するために統合される記述エージェントと、2つの推論エージェントと決定エージェントとを含む。
このフレームワークは、9つのベンチマークテストのうち6つで最先端のアルゴリズムよりも優れており、マルチモーダル理解が大幅に進歩している。
論文 参考訳(メタデータ) (2024-05-31T13:56:55Z) - VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks [93.85005277463802]
VisualWebArenaは、マルチモーダルWebエージェントのパフォーマンスを現実的なタスクで評価するために設計されたベンチマークである。
このベンチマークを実行するには、イメージテキスト入力を正確に処理し、自然言語命令を解釈し、ユーザが定義した目的を達成するためにウェブサイト上でアクションを実行する必要がある。
論文 参考訳(メタデータ) (2024-01-24T18:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。