論文の概要: ControlAR: Controllable Image Generation with Autoregressive Models

• arxiv url: http://arxiv.org/abs/2410.02705v1
• Date: Thu, 3 Oct 2024 17:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:23:03.455850
• Title: ControlAR: Controllable Image Generation with Autoregressive Models
• Title（参考訳）: ControlAR:自己回帰モデルによる制御可能な画像生成
• Authors: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang,
• Abstract要約: 自動回帰画像生成モデルに空間制御を統合するための効率的なフレームワークであるControlARを導入する。 ControlARは条件付き復号法を利用して、制御と画像トークンの融合によって条件付けられた次の画像トークンを生成する。 その結果,コントロールARは従来の制御可能な拡散モデルを上回ることが示唆された。
• 参考スコア（独自算出の注目度）: 40.74890550081335
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.
• Abstract（参考訳）: 自己回帰(AR)モデルは、画像生成を次世代の予測として改革し、拡散モデルに対する強力な競合相手として顕著なポテンシャルと出現を示した。 しかし、コントロール・ツー・イメージ生成は、コントロールネットと同様、ARモデル内ではほとんど探索されていない。 大規模言語モデルの進歩にインスパイアされた自然なアプローチは、イメージトークンをデコードする前に、コントロールイメージをトークンにトークン化し、それらを自己回帰モデルにプリフィルすることだが、それでもControlNetと比べて世代品質が低く、非効率に苦しんでいる。 この目的のために,自動回帰画像生成モデルに空間制御を統合するための効率的かつ効率的なフレームワークであるControlARを導入する。 まず,ARモデルの制御符号化について検討し,空間入力(キャニーエッジや深度マップなど)を制御トークンに変換する軽量制御エンコーダを提案する。 その後、ControlARは条件復号法を利用して、位置符号化と同様の制御と画像トークンの融合によって条件付けられた次の画像トークンを生成する。 プリフィルトークンと比較すると、条件付きデコーディングはARモデルの制御能力を著しく強化するが、モデルの効率も維持する。 さらに、提案したControlARは、条件付きデコーディングと特定の制御を通じて任意の解像度の画像生成でARモデルを驚くほど強化する。 大規模な実験は、エッジ、深さ、セグメンテーションマスクを含む様々な入力に対して自動回帰制御・画像生成のための提案された制御器の制御可能性を示すことができる。 さらに、定量的および定性的な結果は、ControlARが従来の最先端の制御可能な拡散モデルであるControlNet++を上回っていることを示している。 コード、モデル、デモは、間もなくhttps://github.com/hustvl/ControlARで公開される。

関連論文リスト

• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
  拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。 高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。 本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
  論文  参考訳（メタデータ） (2024-06-14T06:35:33Z)
• OmniControlNet: Dual-stage Integration for Conditional Image Generation [61.1432268643639]
  我々は、外部条件生成アルゴリズムを1つの高密度予測法に統合することにより、広く採用されているコントロールネットの双方向統合を提供する。 提案したOmniControlNetは,1)タスク埋め込み指導下での1つのマルチタスク高密度予測アルゴリズムによる条件生成と,2)テキスト埋め込み指導下での異なる条件付き画像生成プロセスを統合した。
  論文  参考訳（メタデータ） (2024-06-09T18:03:47Z)
• ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback [20.910939141948123]
  ControlNet++は、生成した画像と条件付き制御の間のピクセルレベルのサイクル一貫性を明示的に最適化することで、制御可能な生成を改善する新しいアプローチである。 ControlNetの11.1%のmIoU、13.4%のSSIM、7.6%のRMSE、それぞれセグメンテーションマスク、ラインアートエッジ、深さ条件の改善を実現している。
  論文  参考訳（メタデータ） (2024-04-11T17:59:09Z)
• ECNet: Effective Controllable Text-to-Image Diffusion Models [31.21525123716149]
  本稿では,条件付きテキスト・ツー・イメージモデルに対する2つの革新的なソリューションを提案する。 まず,テキスト入力を正確なアノテーション情報で符号化することで,条件の詳細性を高める空間ガイダンス(SGI)を提案する。 第二に、条件付き監督の制限を克服するため、拡散整合損失を導入する。 これにより、各ステップにおける潜時符号と入力信号との一貫性が促進され、出力の堅牢性と精度が向上する。
  論文  参考訳（メタデータ） (2024-03-27T10:09:38Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild [166.25327094261038]
  制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。 UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。 9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
  論文  参考訳（メタデータ） (2023-05-18T17:41:34Z)
• Adding Conditional Control to Text-to-Image Diffusion Models [37.98427255384245]
  大規模で事前訓練されたテキスト-画像拡散モデルに空間条件制御を追加するニューラルネットワークアーキテクチャであるControlNetを提案する。 ControlNetはプロダクション対応の大規模な拡散モデルをロックし、数十億のイメージで事前訓練されたディープで堅牢なエンコーディング層を強力なバックボーンとして再利用して、さまざまな条件付きコントロールを学ぶ。
  論文  参考訳（メタデータ） (2023-02-10T23:12:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。