論文の概要: UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling
- arxiv url: http://arxiv.org/abs/2607.24157v1
- Date: Mon, 27 Jul 2026 08:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.364043
- Title: UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling
- Title（参考訳）: UniGen-AR: 自動回帰モデリングによるビジュアルジェネレーションの統合
- Abstract要約: 統一視覚生成 (Unified Visual Generation, UVG) について検討した。
汎用多目的言語モデル(MLLM)と効率的な視覚自動回帰デコーダを組み合わせたフレームワークUniGen-ARを提案する。
MLLMは、自由形式の命令と制御信号を統一シーケンスに符号化し、VARデコーダを誘導して、4つのファミリーにまたがる15以上のタスクに対して画像評価出力を生成する。
- 参考スコア（独自算出の注目度）: 57.126059929740926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern computer vision pipelines remain fragmented, with tasks such as text-to-image generation, editing, restoration, and classical perception handled by separate models. We study Unified Visual Generation (UVG), where a single model produces diverse image-valued outputs through a unified multimodal interface. While diffusion-based systems dominate UVG due to strong quality and controllability, their iterative sampling incurs substantial inference latency, limiting practical deployment. To address these limitations, we propose UniGen-AR, a framework that pairs a general-purpose multi-modal language model (MLLM) with an efficient next-scale visual auto-regressive (VAR) decoder. This design retains the flexibility of MLLM-based conditioning while leveraging the sampling efficiency and latent unification properties of VAR models. In our framework, the MLLM encodes free-form instructions and control signals into a unified sequence, which guides the VAR decoder to generate image-valued outputs for over 15 tasks spanning four families. Empirically, UniGen-AR achieves up to $19 \times$ lower inference latency than diffusion-based baselines while maintaining or improving output quality. Our ablations further reveal that VQ-VAE tokenizer design, particularly codebook size and hierarchy, is a critical factor for VAR scalability in UVG. These results establish visual auto-regressive modeling as a compelling and efficient backbone for unified visual generation. Our project page is at https://zpbao.github.io/projects/unigenar.
- Abstract（参考訳）: 現代のコンピュータビジョンパイプラインは断片化され続けており、テキスト・ツー・イメージ生成、編集、復元、古典的知覚といったタスクは別々のモデルによって処理される。
統一視覚生成 (Unified Visual Generation, UVG) について検討した。
拡散ベースのシステムが強い品質と制御性のためにUVGを支配しているのに対して、反復的なサンプリングは相当な推論遅延を引き起こし、実際のデプロイメントを制限します。
これらの制約に対処するため、汎用多目的言語モデル(MLLM)と効率的な次世代視覚自動回帰デコーダ(VAR)を組み合わせたUniGen-ARを提案する。
この設計は、VARモデルのサンプリング効率と潜時統一特性を活用しつつ、MLLMベースの条件付けの柔軟性を維持している。
MLLMはフリーフォーム命令と制御信号を統一シーケンスに符号化し、VARデコーダを誘導して、4つのファミリーにまたがる15以上のタスクに対して画像評価出力を生成する。
経験的に、UniGen-ARは、最大19ドルの推論遅延を拡散ベースのベースラインよりも低くし、出力品質の維持や改善を実現している。
VQ-VAEトークンの設計、特にコードブックのサイズと階層は、UVGにおけるVARのスケーラビリティにとって重要な要素であることを示す。
これらの結果から、視覚的自己回帰モデリングは、統合された視覚生成のための魅力的で効率的なバックボーンとして確立される。
私たちのプロジェクトページはhttps://zpbao.github.io/projects/unigenar.comです。
関連論文リスト
- Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。
UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。
拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
論文 参考訳（メタデータ） (2026-06-16T17:59:22Z) - OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。
トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。
エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-20T07:50:00Z) - Visual Generation Tuning [84.50113837230333]
視覚言語モデルにおける視覚生成の基盤となる能力を刺激する新しいパラダイムであるVGT, Visual Generation Tuningを提案する。
画像再構成タスクでは、26.67 PSNRと0.50 rFIDを28倍圧縮比で達成し、特殊VAEよりも優れていた。
提案するVGTは,拡張性を示すとともに,マルチモーダル理解のために訓練されたVLMを視覚的生成能力で実現するためにも有用である。
論文 参考訳（メタデータ） (2025-11-28T18:57:13Z) - UniFusion: Vision-Language Model as Unified Encoder in Image Generation [12.811191961286852]
We present UniFusion, a diffusion-based generative model conditioned on a frozen large vision- language model (VLM) that serve as an unified multimodal encoder。
LAPは、VLMから編集の鍵となる拡散モデルへの視覚情報の生成と忠実な伝達のために、テキストイメージアライメントにおいて、他の浅層融合アーキテクチャよりも優れていることを示す。
本稿では,VLMが生成するテキストトークンにのみ拡散変換器(DiT)を条件として,フレキシブル推論を用いたVLM-Enabled Rewriting Injectionを提案する。
論文 参考訳（メタデータ） (2025-10-14T17:57:56Z) - SCALAR: Scale-wise Controllable Visual Autoregressive Learning [15.775596699630633]
視覚自己回帰(VAR)に基づく制御可能な生成法であるSCALARを提案する。
予め訓練された画像エンコーダを用いて意味制御信号の符号化を抽出し,VARバックボーンの対応する層に注入する。
SCALAR上に構築したSCALAR-Uniは,複数の制御モダリティを共有潜在空間に整合させる統合拡張であり,単一のモデルで柔軟なマルチ条件ガイダンスをサポートする。
論文 参考訳（メタデータ） (2025-07-26T13:23:08Z) - DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。
まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。
第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
論文 参考訳（メタデータ） (2025-04-23T18:38:18Z) - VARGPT: Unified Understanding and Generation in a Visual Autoregressive Multimodal Large Language Model [38.61292051733335]
VARGPTは,単一の自己回帰フレームワーク内で視覚的理解と生成を統一する,新しいマルチモーダル大規模言語モデルである。
VarGPTは視覚理解のための次世代予測パラダイムと、視覚自己回帰生成のための次世代予測パラダイムを採用している。
特に、VARGPTは自己回帰的視覚生成と命令-画像合成の能力を自然にサポートし、視覚的理解と生成の両タスクにおいてその汎用性を示す。
論文 参考訳（メタデータ） (2025-01-21T17:50:43Z) - SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。
トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。
コードとモデルはリリースされます。
論文 参考訳（メタデータ） (2024-12-12T18:59:26Z) - Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.57727062920458]
本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。
高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。
我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
論文 参考訳（メタデータ） (2024-10-10T17:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。