論文の概要: PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
- arxiv url: http://arxiv.org/abs/2609.22789v1
- Date: Sat, 19 Sep 2026 05:40:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.555415
- Title: PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
- Title(参考訳): PixelART: 遅延やテキスト・ツー・イメージ事前トレーニングのないイメージ・ツー・レイヤの分解
- Abstract要約: 画像から層への分解はフラット化された画像を編集可能なRGBA層に変換し、設計における要素レベルの編集を可能にする。
我々は,イメージ・ツー・レイヤ(I2L)分解のためのスクラッチからトレーニングした画素空間整流トランスであるPixelARTを紹介する。
- 参考スコア(独自算出の注目度): 22.090810324821764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image-to-layer decomposition converts a flattened image into editable RGBA layers, enabling element-level editing in design workflows. Existing diffusion-based systems typically adapt large pretrained text-to-image (T2I) models and introduce RGBA autoencoders or variable-layer architectural modules. We revisit this design choice and ask whether layer decomposition truly requires these heavyweight components. We introduce PixelART, a pixel-space rectified-flow Transformer trained from scratch for image-to-layer (I2L) decomposition. PixelART directly denoises regional RGBA pixel patches using a single-stream multi-modal diffusion Transformer, avoiding RGBA-VAEs, pretrained T2I backbones, and layer-specific decoders. We identify a key property of the task: high-noise timesteps determine layer assignment and coarse layer organization, while low-noise timesteps mainly refine color, alpha, texture, and boundaries. Based on this observation, we propose a terminal-boosted timestep sampling strategy to increase training coverage in the high-noise layer assignment regime. Trained on 4M multi-layer design templates, PixelART achieves state-of-the-art layer decomposition and composite reconstruction on Design-Multi-Layer-Bench and LICA with over 80% fewer parameters, 98% lower latency, and 85% lower memory than the recent Qwen-Image-Layered model. Ablation experiments show that pixel-space $\mathbf{x}$-prediction, terminal-boosted timestep sampling, and data/model scaling are critical, while T2I pretraining brings marginal benefits to the I2L task.
- Abstract(参考訳): 画像から層への分解はフラット化された画像を編集可能なRGBA層に変換し、設計ワークフローにおける要素レベルの編集を可能にする。
既存の拡散ベースのシステムは、通常、大きな事前訓練されたテキスト・トゥ・イメージ(T2I)モデルに対応し、RGBAオートエンコーダや可変層アーキテクチャモジュールを導入する。
私たちはこの設計選択を再考し、レイヤーの分解にこれら重厚なコンポーネントが本当に必要かどうか尋ねます。
我々は,イメージ・ツー・レイヤ(I2L)分解のためのスクラッチからトレーニングした画素空間整流トランスであるPixelARTを紹介する。
PixelARTは、RGBA-VAE、事前訓練されたT2Iバックボーン、レイヤ固有のデコーダを回避して、単一ストリームのマルチモーダル拡散トランスフォーマーを使用して、ローカルなRGBAピクセルパッチを直接識別する。
ハイノイズの時間ステップは層割り当てと粗い層構造を決定するが、低ノイズの時間ステップは主に色、アルファ、テクスチャ、バウンダリである。
そこで本研究では,高雑音層割り当て方式におけるトレーニングカバレッジを高めるため,終端ブースト時間ステップサンプリング手法を提案する。
4Mの多層設計テンプレートでトレーニングされたPixelARTは、Design-Multi-Layer-BenchとLICAで、最新のQwen-Image-Layeredモデルよりも80%以上、レイテンシが98%、メモリが85%低い、最先端のレイヤ分解と複合的な再構築を実現している。
アブレーション実験により、画素空間 $\mathbf{x}$-prediction,term-boosted timestep sample, data/model scaling が重要であり、T2I事前学習はI2Lタスクに限界的な利点をもたらすことが示された。
関連論文リスト
- PixRestore: Unified Image Restoration via Pixel Diffusion Transformer [25.58481833908051]
統一画像復元(UIR)は、低品質(LQ)画像から高品質(HQ)コンテンツを異なる劣化で復元することを目的としている。
本稿では,VAEフリー画素空間拡散変換器(DiT)であるPixRestoreについて述べる。
PixRestoreは、パッチされたピクセル上で直接フローマッチングを実行し、トークンシーケンスをトラクタブルに保ちながら、きめ細かい詳細を保存する。
論文 参考訳(メタデータ) (2026-08-17T16:49:55Z) - Qwen-Image-Layered: Towards Inherent Editability via Layer Decomposition [73.43121650616804]
単一のRGB画像を複数の意味的不整合RGBA層に分解するエンドツーエンド拡散モデルである textbfQwen-Image-Layered を提案する。
本手法は,分解品質の既存手法を大幅に上回り,一貫した画像編集のための新しいパラダイムを確立する。
論文 参考訳(メタデータ) (2025-12-17T17:12:42Z) - DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers [85.1185656296496]
本稿では,DiffDecomposeについて述べる。DiffDecomposeは拡散トランスフォーマーをベースとしたフレームワークで,入力画像に条件付き可能な層分解を後部から学習する。
コードとデータセットは、論文の受理時に提供される。
論文 参考訳(メタデータ) (2025-05-24T16:08:04Z) - MULAN: A Multi Layer Annotated Dataset for Controllable Text-to-Image Generation [54.64194935409982]
44K MUlti-Layer-wise RGBA 分解からなる新しいデータセット MuLAn を紹介する。
MuLAnは、高品質な画像のインスタンス分解と空間情報を提供する最初のフォトリアリスティックなリソースである。
我々は,新しい生成・編集技術,特にレイヤワイドソリューションの開発を促進することを目的としている。
論文 参考訳(メタデータ) (2024-04-03T14:58:00Z) - Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。
具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。
さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
論文 参考訳(メタデータ) (2024-03-30T08:05:00Z) - WavePaint: Resource-efficient Token-mixer for Self-supervised Inpainting [2.3014300466616078]
本稿では、計算効率の良いWaveMixベースの完全畳み込みアーキテクチャであるWavePaintを用いて、視覚変換器から分岐する。
2次元離散ウェーブレット変換(DWT)を用いて、畳み込み層とともに、空間的および多重解像度のトークン混合を行う。
我々のモデルは、CelebA-HQデータセットの現在のGANアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2023-07-01T18:41:34Z) - Video Super-Resolution Transformer [85.11270760456826]
ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。
近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。
本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
論文 参考訳(メタデータ) (2021-06-12T20:00:32Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2021-02-04T18:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。