論文の概要: How Far Can Coding Agents Go in Visual Generation?
- arxiv url: http://arxiv.org/abs/2610.19025v1
- Date: Tue, 13 Oct 2026 18:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.742136
- Title: How Far Can Coding Agents Go in Visual Generation?
- Title(参考訳): ビジュアルジェネレーションでは、どの程度のコーディングエージェントが使えるのか?
- Abstract要約: 実行可能プログラムを通して画像を構成する汎用符号化エージェントについて検討する。
AgentDrawBenchにおけるゼロショット描画の研究により,特徴的特徴が明らかになった。
本稿では、図形言語間の視覚的操作を共用し、構成的に構成された表現が支援される内部視覚言語・思考仮説について検討する。
- 参考スコア(独自算出の注目度): 46.80064587266603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern image generation largely relies on specialized generative models that leave the process of image construction implicit in learned parameters. We explore an alternative: general-purpose coding agents that construct images through executable programs. Our study of zero-shot drawing on AgentDrawBench, a 200-prompt benchmark, reveals a distinctive capability profile. Agents excel at preserving structure and satisfying precise visual constraints, achieving competitive results in domains where compositional accuracy matters more than photorealistic appearance, while remaining limited in perceptual richness. Their visual expressiveness varies with the drawing interface, and a qualitative study on reconstruction shows how procedural skills extracted from human demonstrations support different artistic media. We then examine code as an external visual language of thought: a structured, executable representation that agents can construct and inspect. We test it in visual question answering task and find reconstructed visual code retains substantial information for question answering and, in some domains, supports higher accuracy than the original image. These abilities raise a further question: do agents draw on a shared internal representation of scene content beyond a particular drawing program? We explore an internal visual language-of-thought hypothesis, in which a shared, compositionally structured representation supports visual operations across drawing languages. Cross-harness drawings and images assembled from independent single-pixel queries exhibit related layouts and tones. Agents also maintain self-generated room arrangements across viewpoints after visible drawings are removed. These results demonstrate that the coding agent would maintain a consistent and coherent world inside its imagine even before the harness gets involved and the generation starts.
- Abstract(参考訳): 現代の画像生成は、学習パラメーターに画像構築の過程を暗黙的に残す特殊な生成モデルに大きく依存している。
実行可能プログラムを通して画像を構成する汎用符号化エージェントについて検討する。
200-promptベンチマークである AgentDrawBench のゼロショット描画について検討した結果,特徴的特徴が示された。
エージェントは、構造を保存し、正確な視覚的制約を満足し、構成精度が光現実的な外観よりも重要でありながら、知覚豊かさに制限される領域において、競争的な結果を達成する。
視覚的表現性は描画インターフェースによって異なり、再現に関する質的研究は、人間のデモンストレーションから抽出された手続き的スキルが、異なる芸術メディアをどのようにサポートするかを示している。
次に、エージェントが構築および検査できる構造化された実行可能な表現である、思考の外部視覚言語としてコードを調べる。
視覚的質問応答タスクでテストし、再構成された視覚コードは、質問応答のための実質的な情報を保持し、いくつかの領域では、元の画像よりも高い精度をサポートする。
エージェントは特定の描画プログラムを超えて、シーンコンテンツの共有内部表現を描画するのか?
本稿では、図形言語間の視覚的操作を共用し、構成的に構成された表現が支援される内部視覚言語・思考仮説について検討する。
独立した単一ピクセルクエリから集めたクロスハーネスの描画と画像は、関連するレイアウトとトーンを示している。
エージェントは、視覚的な描画が削除された後、視点を越えて自己生成された部屋アレンジメントも維持する。
これらの結果は、符号化エージェントが、ハーネスが関与して生成が始まる前にも、その想像の中に一貫した一貫性のある世界を維持できることを示した。
関連論文リスト
- PainterBench: A Figural Divergent-Thinking Benchmark for Tool-Using Language Models [8.239213339602012]
エージェント設定に不完全な描画タスクを移植するベンチマークであるPanerBenchを紹介する。
ベンチマークでは、短い地平線上でのインクリメンタルなビジュアルプランニングと、事前トレーニングからマルチターンツール使用へのクリエイティブな能力の移行をテストしている。
我々は2,700点の図面とクラウドソースの創造性と認識可能性の評価を、すべての図面と300点の人間の参照図面に対して収集する。
論文 参考訳(メタデータ) (2026-09-28T03:08:43Z) - coDrawAgents: A Multi-Agent Dialogue Framework for Compositional Image Generation [48.027946344020314]
対話型多エージェント対話フレームワークであるcoDrawAgentsを提案する。
インタプリタは、直接テキスト・ツー・イメージ・パスとレイアウト対応マルチエージェント・プロセスとを判定する。
Plannerは、進化する視覚的コンテキストで決定を下しながら、同じセマンティック優先レベルを持つオブジェクトのレイアウトを提案する。
Checkerは空間的一貫性と属性アライメントを検証することで、明示的なエラー訂正機構を導入する。
Painterはイメージをステップごとに合成し、新しく計画されたオブジェクトをキャンバスに組み込んで、その後のイテレーションに対してよりリッチなコンテキストを提供する。
論文 参考訳(メタデータ) (2026-03-13T09:32:06Z) - GenEscape: Hierarchical Multi-Agent Generation of Escape Room Puzzles [13.001531516689035]
我々は,視覚的,論理的,知的刺激的な,脱出室パズル画像を生成することによって,テキスト・ツー・イメージモデルに挑戦する。
本稿では,このタスクを機能設計,象徴的なシーングラフ推論,レイアウト合成,局所画像編集など,構造化段階に分解する階層型マルチエージェントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-27T01:08:37Z) - Image Reconstruction as a Tool for Feature Analysis [2.0249250133493195]
本稿では,画像再構成による視覚特徴の解釈のための新しい手法を提案する。
画像ベースタスクで事前訓練されたエンコーダは、非画像タスクで訓練されたものよりも、はるかに多くの画像情報を保持することを示す。
我々のアプローチはどんな視覚エンコーダにも適用でき、特徴空間の内部構造に光を遮ることができる。
論文 参考訳(メタデータ) (2025-06-09T14:32:18Z) - PixWizard: Versatile Image-to-Image Visual Assistant with Open-Language Instructions [65.73013453373349]
PixWizardは、画像生成、操作、翻訳を自由言語命令に基づいて行うために設計されたイメージ・ツー・イメージのビジュアルアシスタントである。
我々は、様々な視覚タスクを統一された画像テキスト・画像生成フレームワークに取り組み、Omni Pixel-to-Pixel Instruction-Tuningデータセットをキュレートする。
我々の実験は、PixWizardが様々な解像度の画像に対して印象的な生成能力と理解能力を示すだけでなく、目に見えないタスクや人間の指示で有望な一般化能力を示すことを示した。
論文 参考訳(メタデータ) (2024-09-23T17:59:46Z) - Divide and Conquer: Language Models can Plan and Self-Correct for
Compositional Text-to-Image Generation [72.6168579583414]
CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。
提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
論文 参考訳(メタデータ) (2024-01-28T16:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。