論文の概要: Latent Action Control for Reasoning-Guided Unified Image Generation
- arxiv url: http://arxiv.org/abs/2605.16961v1
- Date: Sat, 16 May 2026 12:23:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.390679
- Title: Latent Action Control for Reasoning-Guided Unified Image Generation
- Title（参考訳）: Reasoning-Guided Unified Image Generationのための潜時動作制御
- Authors: Fuxiang Zhai, Sixiang Chen, Yingjin Li, Shuaibo Li, Jianyu Lai, Tengjun Huang, Lei Zhu,
- Abstract要約: 本稿では,Latent Action Control (LAC) を提案する。
我々は,LACがGenEval,WISE,T2I-CompBenchにまたがる構成的および知識的基底生成を一貫して改善することを示す。
- 参考スコア（独自算出の注目度）: 15.169749682149314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified multimodal models can encode visual understanding and image generation within a shared backbone, yet understanding does not automatically translate into control: models may infer objects, relations, or knowledge cues but fail to instantiate them in the generated image. We propose Latent Action Control (LAC), which makes reasoning actionable by representing it as hidden continuous actions inside a unified generator. Given a prompt, LAC rolls out a role-structured latent trajectory for planning, internal visual drafting, diagnosis, and refinement, and injects these actions into the hidden stream that conditions flow-based generation, without producing reasoning tokens or intermediate images. Since such action trajectories are unobserved, LAC learns them through prior-guided variational latent action alignment from training-only rendered semantic priors, draft image features, and supervised halting signals, followed by Latent-Flow GRPO to align the latent-to-image rollout with terminal visual feedback. This provides a control path from inferred relations, bindings, and knowledge cues to the generation process. Instantiated on BAGEL-7B-MoT, LAC consistently improves compositional and knowledge-grounded generation across GenEval, WISE, and T2I-CompBench, with the largest gains on spatial relations, attribute binding, and world-knowledge-sensitive prompts. Ablations and latent interventions show that the learned action trajectory is consumed by the generator, suggesting that unified generation benefits when understanding is not only encoded, but made actionable during generation.
- Abstract（参考訳）: 統一されたマルチモーダルモデルは、共有バックボーン内で視覚的理解と画像生成を符号化することができるが、理解は自動的に制御に変換されるわけではない。
本稿では,Latent Action Control (LAC) を提案する。
プロンプトが与えられた後、LACは、計画、内部の視覚的ドラフト、診断、洗練のためのロール構造化潜在軌道をロールアウトし、推論トークンや中間画像を生成することなく、フローベースの生成を条件とする隠れストリームにこれらのアクションを注入する。
このような動作軌跡は観測されていないため、LACはトレーニング専用セマンティック先行処理、ドラフト画像特徴、教師付き停止信号から事前誘導された変分潜時動作アライメントを通じて学習し、次にレイト・フローGRPOを使用して潜時ロールアウトを終端視覚フィードバックと整合させる。
これは、推論された関係、バインディング、および知識キューから生成プロセスへの制御パスを提供する。
BAGEL-7B-MoTをベースとしたLACは、GenEval、WISE、T2I-CompBench間の合成および知識基底生成を一貫して改善する。
アブレーションや潜伏介入は、学習された行動軌跡がジェネレータによって消費されることを示し、理解がコード化されているだけでなく、生成時に実行可能になったときの統一された生成利益が示唆される。
関連論文リスト
- ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both [55.182037225013836]
ATLASは、単一の独立した「ワード」を機能トークンと呼び、エージェント操作と潜在視覚推論ユニットの両方として機能するフレームワークである。
ATLASは、明確な解釈可能性を維持しながら、挑戦的なベンチマークで優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-14T17:59:55Z) - Steering Visual Generation in Unified Multimodal Models with Understanding Supervision [42.765106450407814]
統一マルチモーダルモデルは、理解と生成のギャップを埋めるために考えられている。
本稿では, 個別のタスクとしてだけでなく, 生成表現を制御するための直接監督信号として, より軽量なフレームワークである「理解指向ポストトレーニング(UNO)」を提案する。
論文 参考訳（メタデータ） (2026-05-07T07:20:04Z) - Self-Corrected Image Generation with Explainable Latent Rewards [55.29175717238288]
我々は、説明可能なLatent RewarDを通じて生成をガイドする自己修正フレームワークであるxLARDを提案する。
xLARDは、モデル生成参照からの構造化されたフィードバックに基づいて遅延表現を洗練する軽量な修正器を導入している。
実験により、xLARDは、生成前の状態を維持しながら、意味的アライメントと視覚的忠実性を改善することが示された。
論文 参考訳（メタデータ） (2026-03-26T02:59:35Z) - Knowledge-Guided Manipulation Using Multi-Task Reinforcement Learning [43.715148652244864]
KG-M3POは、知覚、知識、ポリシーを統一する部分的に観察可能な設定でマルチタスクロボット操作を行うためのフレームワークである。
オンラインの3Dシーングラフは、オープン語彙の検出を計量的、リレーショナルな表現に変換する。
論文 参考訳（メタデータ） (2026-03-25T08:41:32Z) - Going with the Flow: Koopman Behavioral Models as Implicit Planners for Visuo-Motor Dexterity [1.6865201067073452]
本稿では,一様挙動モデル (UBMs) を紹介する。
Koopman-UBM は UBM の最初のインスタンス化であり、潜在視覚的特徴と固有受容的特徴の結合フローが構造化線形システムによって制御される統一表現を学習する。
論文 参考訳（メタデータ） (2026-02-07T07:18:00Z) - Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing [38.240269144736224]
Re-Alignは構造化推論誘導アライメントを通じて理解と生成のギャップを埋める。
In-context Image Generation and editing (ICGE)により、ユーザーはインターリーブされた画像テキストプロンプトによって視覚概念を指定できる。
論文 参考訳（メタデータ） (2026-01-08T17:13:00Z) - Chain-of-Image Generation: Toward Monitorable and Controllable Image Generation [7.987662261007762]
CoIG(Chain-of-Image Generation)フレームワークは、画像生成を、人間がアートを作成する方法に類似したシーケンシャルでセマンティックなプロセスとして再構成する。
実験結果から,CoIGは確立されたベースラインモデルと比較して,競争力のあるロバスト性を実現しつつ,定量的監視性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2025-12-09T14:35:12Z) - Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。
我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。
画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
論文 参考訳（メタデータ） (2025-03-17T17:58:30Z) - Enhancing Graph Contrastive Learning with Reliable and Informative Augmentation for Recommendation [84.45144851024257]
離散コードによるより強力な協調情報を用いて、コントラスト的なビューを構築することにより、グラフのコントラスト学習を強化することを目的とした、新しいフレームワークを提案する。
中心となる考え方は、ユーザとアイテムを協調情報に富んだ離散コードにマッピングし、信頼性と情報に富んだコントラッシブなビュー生成を可能にすることである。
論文 参考訳（メタデータ） (2024-09-09T14:04:17Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳（メタデータ） (2020-07-17T21:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。