論文の概要: Agentic Visual Generation: From Generative Models to Agentic Control
- arxiv url: http://arxiv.org/abs/2609.06758v1
- Date: Sun, 06 Sep 2026 17:59:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 04:42:01.515727
- Title: Agentic Visual Generation: From Generative Models to Agentic Control
- Title（参考訳）: エージェント・ビジュアル・ジェネレーション:生成モデルからエージェント・コントロールへ
- Abstract要約: ほとんどの既存のシステムでは、コントローラはLLMまたはVLMであり、ビジュアルジェネレーションモデルはツールやエグゼクタとして機能する。
計画の深さ、道具の使用、複数ロールの協調、強化学習は、しばしばエージェント性の証拠として扱われる。
生成プロセスにおいて、コントローラが直接制御できるものに応じてフィールドを整理する。
- 参考スコア（独自算出の注目度）: 73.3572965008302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual generation is evolving from generative models used through a single invocation into agentic control processes that can plan, select tools, inspect intermediate synthesized outputs, revise failures, and reuse prior experience. In most existing systems, the controller is an LLM or VLM, while visual generation models serve as tools or executors. However, existing work lacks a consistent criterion for determining when a generation system becomes agentic. Planning depth, tool use, multi-role collaboration, and reinforcement learning are often treated as evidence of agenticity, even though none of them necessarily determines which generation decisions the controller can make. We organize the field according to what the controller can directly control in the generation process. At L1 Conditioning Control, the controller prepares the input to a predetermined generator but does not control which visual operation is executed. At L2 Execution Control, it selects and invokes actual generation, editing, rendering, or other content-modifying operations. At L3 Outcome-Adaptive Control, it observes an intermediate outcome and uses that observation to change a subsequent operation within the current task. At L4 Experience-Adaptive Control, it retains experience from completed tasks and uses that experience to change decisions on future tasks. L0 Fixed Support separately denotes generators, editors, evaluators, reward models, benchmarks, and fixed pipelines without a deployed controller that makes generation-level decisions. These levels describe a progressively broader decision-making scope rather than model size, system complexity, output quality, tool or role count, or training method. Applying this framework across image, video, editing, 3D, world, slide, and user-interface generation reveals how controller capabilities have evolved and how their mechanisms are distributed across levels.
- Abstract（参考訳）: 視覚生成は、単一の呼び出しを通じて使用される生成モデルからエージェント制御プロセスへと進化し、計画、ツールの選択、中間合成出力の検査、障害の修正、事前経験の再利用を可能にしている。
ほとんどの既存のシステムでは、コントローラはLLMまたはVLMであり、ビジュアルジェネレーションモデルはツールやエグゼクタとして機能する。
しかし、既存の作業には、世代システムがエージェントとなるタイミングを決定するための一貫した基準が欠けている。
計画の深さ、ツールの使用、複数ロールの協調、強化学習は、コントローラーがどの世代決定を下すかは必ずしも決定していないが、エージェント性の証拠として扱われることが多い。
生成プロセスにおいて、コントローラが直接制御できるものに応じてフィールドを整理する。
L1コンディショニング制御では、コントローラは所定のジェネレータへの入力を準備するが、どの視覚操作が実行されるかを制御しない。
L2 Execution Controlでは、実際の生成、編集、レンダリング、その他のコンテンツ修正操作を選択し、実行します。
L3 Outcome-Adaptive Controlでは、中間結果を観察し、その観測結果を使用して、現在のタスク内のその後の操作を変更する。
L4 Experience-Adaptive Controlでは、完了したタスクからの経験を保持し、その経験を使って将来のタスクの決定を変更する。
L0 Fixed Supportは、ジェネレータ、エディタ、評価器、報酬モデル、ベンチマーク、および世代レベルの決定を行うデプロイされたコントローラなしで固定パイプラインを別々に表現する。
これらのレベルは、モデルのサイズ、システムの複雑さ、出力品質、ツールまたはロールカウント、トレーニングメソッドよりも、徐々に広い意思決定範囲を記述します。
このフレームワークをイメージ、ビデオ、編集、3D、世界、スライド、ユーザインターフェース生成に適用することで、コントローラ機能がどのように進化し、そのメカニズムがレベルによって分散されているかを明らかにする。
関連論文リスト
- GPC: Large-Scale Generative Pretraining for Transferable Motor Control [13.694660962373703]
本稿では、トークン化と次世代モデリングを活用して再利用可能な生成コントローラを作成するジェネレーティブ事前学習コントローラを紹介する。
我々のフレームワークは、エンドツーエンドの強化学習を利用して「運動語彙」を協調的に最適化する
生成制御器は、転倒後の摂動に対する応答挙動や回復挙動など、様々な自然発生挙動を示す。
論文 参考訳（メタデータ） (2026-06-28T02:05:11Z) - Iterative Critique-and-Routing Controller for Multi-Agent Systems with Heterogeneous LLMs [31.34021188099265]
マルチエージェント大言語モデル(LLM)システムは、異種モデルのプールを調整するためのコントローラに依存していることが多い。
逐次決定問題としてマルチエージェントコーディネーションを提案する。
論文 参考訳（メタデータ） (2026-05-09T04:51:42Z) - Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers [69.60693631859411]
本稿では,線形アテンションアーキテクチャ上に構築された制御可能な拡散モデルについて検討する。
本稿では,SANA などのリニアアテンションバックボーンに適した新しい制御可能な拡散フレームワークを提案する。
提案手法は,線形アテンションモデルに基づく最先端の制御可能な生成性能を実現する。
論文 参考訳（メタデータ） (2026-03-29T12:31:34Z) - GenAgent: Scaling Text-to-Image Generation via Agentic Multimodal Reasoning [54.42973725693]
我々は,エージェント型マルチモーダルモデルを用いて,視覚的理解と生成を統一したGenAgentを導入する。
GenAgentはGenEval++とWISEのベースジェネレータ(FLUX.1-dev)のパフォーマンスを大幅に向上させる。
本フレームワークは,1) 様々な機能を持つジェネレータへのクロスツール一般化,2) インタラクションラウンド間で一貫した改善を伴うテスト時間スケーリング,3) タスクに自動的に適応するタスク適応推論の3つの重要な特性を示す。
論文 参考訳（メタデータ） (2026-01-26T14:49:04Z) - GenCtrl -- A Formal Controllability Toolkit for Generative Models [10.810813965290707]
対話環境における制御可能なモデルの集合を推定する新しいアルゴリズムを提案する。
モデル制御性は驚くほど脆弱であり,実験環境に強く依存していることが示される。
論文 参考訳（メタデータ） (2026-01-09T08:50:02Z) - SCALAR: Scale-wise Controllable Visual Autoregressive Learning [15.775596699630633]
視覚自己回帰(VAR)に基づく制御可能な生成法であるSCALARを提案する。
予め訓練された画像エンコーダを用いて意味制御信号の符号化を抽出し,VARバックボーンの対応する層に注入する。
SCALAR上に構築したSCALAR-Uniは,複数の制御モダリティを共有潜在空間に整合させる統合拡張であり,単一のモデルで柔軟なマルチ条件ガイダンスをサポートする。
論文 参考訳（メタデータ） (2025-07-26T13:23:08Z) - A Practical Investigation of Spatially-Controlled Image Generation with Transformers [23.373853892284227]
我々は空間的に制御された生成のための生成パラダイムをまたいだ明確なテイクアウトを提供することを目指している。
拡散型/フロー型および自己回帰型(AR)モデルにまたがって、ImageNet上で実験を行う。
我々は、アダプタベースのアプローチのモチベーションを再解明し、限られた下流データでトレーニングされた場合、それらが"鍛造"を緩和し、生成品質を維持することを実証した。
論文 参考訳（メタデータ） (2025-07-21T15:33:49Z) - Controlling Large Language Models Through Concept Activation Vectors [30.348768212571255]
本稿では,概念活性化ベクトル(GCAV)を用いたモデル制御フレームワークを提案する。
GCAVはリソース集約的な微調整を必要とせずに正確な制御を保証する。
本フレームワークは, 粒度制御による最先端性能を実現し, 個別試料のステアリング層およびステアリング径の微粒化調整を可能にする。
論文 参考訳（メタデータ） (2025-01-10T07:41:48Z) - CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。
CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。
提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
論文 参考訳（メタデータ） (2024-10-07T00:55:42Z) - PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models [55.080748327139176]
本稿では,3次元幾何学的情報を完全に活用したストリートビュー画像生成手法であるPerLDiffを紹介する。
PerLDiffは、ネットワーク学習プロセス内で正確なオブジェクトレベル制御でストリートビュー画像の生成をガイドするために、3次元の幾何学的事前情報を利用する。
PerLDiffはNuScenesとKITTIデータセット上での制御可能な生成の精度を著しく向上させる。
論文 参考訳（メタデータ） (2024-07-08T16:46:47Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。