論文の概要: Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation
- arxiv url: http://arxiv.org/abs/2606.27978v1
- Date: Fri, 26 Jun 2026 11:27:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.475275
- Title: Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation
- Title（参考訳）: 画素空間自己回帰画像生成のための並列ロールアウト近似
- Abstract要約: emphParallel Rollout Approximation (PRA)を提案する。
PRAは高次元のピクセルパッチの代わりに低次元の中間状態を生成し、ピクセルデコーダでピクセル空間トークンにマッピングし、ピクセルインのピクセルアウトARインターフェースを保存する。
クラス条件のImageNet-1Kを256times256$解像度で生成すると、135Mパラメータを持つPRA-SはFIDが2.58で、これまでの10億画素のARの3.60を超える。
- 参考スコア（独自算出の注目度）: 9.30873702701651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pixel-space continuous-token autoregressive (AR) generation directly models images as sequences of raw pixel patches, avoiding discrete tokenization or a separately pretrained tokenizer. However, it faces coupled challenges: high-dimensional patch generation causes large single-step errors, and teacher-forced training creates a train--inference gap that makes these errors accumulate across AR steps. Existing fixes such as $x$-prediction and input noise injection only partially mitigate these issues. Exact rollout training better matches inference-time conditions, but is impractical due to prohibitively slow sequential sampling. We propose \emph{Parallel Rollout Approximation} (PRA), a scalable framework that addresses both challenges jointly. PRA generates low-dimensional intermediate states instead of high-dimensional pixel patches, then maps them back to pixel-space tokens with a pixel decoder, preserving a pixel-in, pixel-out AR interface. It also constructs inference-like pixel inputs through the same intermediate-state-to-pixel path used at inference, independently across positions, approximating the pixel-feedback interface encountered during inference-time rollout while retaining parallel teacher-forced training. On class-conditional ImageNet-1K generation at $256\times256$ resolution, PRA-S with 135M parameters achieves an FID of 2.58, surpassing the previous billion-scale pixel-space AR result of 3.60. Scaling to PRA-L with 511M parameters further improves FID to 1.94, establishing a new state of the art among pixel-space AR models. Beyond generation, PRA achieves higher ImageNet classification probing accuracy than other AR and diffusion baselines, suggesting its potential for unified pixel-space image generation and understanding.
- Abstract（参考訳）: ピクセル空間の連続的自己回帰(AR)生成は、画像を直接生のピクセルパッチのシーケンスとしてモデル化し、個別のトークン化や別々に事前訓練されたトークン化を避ける。
しかし、高次元のパッチ生成は大きな単一ステップエラーを引き起こし、教師が強制するトレーニングは、これらのエラーをARステップ全体で蓄積する列車推論ギャップを生み出す。
既存の$x$-predictionや入出力ノイズ注入のような修正は、これらの問題を部分的に緩和するだけである。
厳格なロールアウトトレーニングは推論時間条件にマッチするが、シーケンシャルサンプリングが極めて遅いため、実行不可能である。
本稿では,両課題に共同で対処するスケーラブルなフレームワークである 'emph{Parallel Rollout Approximation} (PRA) を提案する。
PRAは高次元のピクセルパッチの代わりに低次元の中間状態を生成し、ピクセルデコーダでピクセル空間トークンにマッピングし、ピクセルインのピクセルアウトARインターフェースを保存する。
また、推論時に使用されるのと同じ中間状態から画素パスを通じて、推論時ロールアウト中に遭遇する画素フィードバックインターフェースを、並列教師による訓練を継続しながら、独立に、推論のような画素入力を構築する。
クラス条件のImageNet-1Kを256\times256$解像度で生成すると、135Mパラメータを持つPRA-SはFIDが2.58で、以前の10億画素のARの3.60を超える。
511MパラメータによるPRA-Lへのスケーリングにより、FIDをさらに1.94に改善し、ピクセル空間ARモデル間で新たな最先端技術を確立する。
生成以外にも、PRAは他のARや拡散ベースラインよりも精度の高いImageNet分類を実現し、統一されたピクセル空間画像の生成と理解の可能性を示している。
関連論文リスト
- DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation [10.719563134726057]
本稿では,デコーダのみの自己回帰モデルであるDPARについて述べる。
DPAR は Imagenet 256 と 384 でそれぞれトークン数を 1.81x と 2.06x に削減し、トレーニングコストの最大40% FLOP を削減した。
論文 参考訳（メタデータ） (2025-12-26T05:03:47Z) - VA-$π$: Variational Policy Alignment for Pixel-Aware Autoregressive Generation [65.22452273252428]
VA-$は自動回帰視覚生成を最適化するポストトレーニングフレームワークである。
ピクセル再構成と自己回帰モデリングを統一する。
FIDを14.36から7.65に削減し、ISをLlamaGen-XXLで86.55から116.70に改善する。
論文 参考訳（メタデータ） (2025-12-22T18:54:30Z) - Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。
偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。
本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
論文 参考訳（メタデータ） (2025-07-02T08:29:18Z) - Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。
我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。
GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
論文 参考訳（メタデータ） (2025-04-24T17:59:56Z) - Accelerating Image Super-Resolution Networks with Pixel-Level Classification [29.010136088811137]
Pixel-level for Single Image SuperResolutionは、ピクセルレベルで計算資源を適応的に分配する新しい手法である。
提案手法では,再学習を伴わない推論における性能と計算コストのバランスが可能である。
論文 参考訳（メタデータ） (2024-07-31T08:53:10Z) - CoordFill: Efficient High-Resolution Image Inpainting via Parameterized
Coordinate Querying [52.91778151771145]
本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。
実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
論文 参考訳（メタデータ） (2023-03-15T11:13:51Z) - PixelFolder: An Efficient Progressive Pixel Synthesis Network for Image
Generation [88.55256389703082]
Pixelは画像生成のための有望な研究パラダイムである。
本稿では,Pixel のような効率的な画像生成に向けたプログレッシブピクセル合成ネットワークを提案する。
Pixelは支出を大幅に減らし、2つのベンチマークデータセットで新しい最先端(SOTA)パフォーマンスを得る。
論文 参考訳（メタデータ） (2022-04-02T10:55:11Z) - Parallel Discrete Convolutions on Adaptive Particle Representations of
Images [2.362412515574206]
適応粒子表現上の離散畳み込み演算子のネイティブ実装のためのデータ構造とアルゴリズムを提案する。
APRは、サンプリング解像度を画像信号に局所的に適応するコンテンツ適応型画像表現である。
APRの畳み込みは、マルチコアCPUとGPUアーキテクチャを効率的に並列化するスケール適応アルゴリズムを自然に導くことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:40:05Z) - LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single
Image Super-Resolution and Beyond [75.37541439447314]
単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。
本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
論文 参考訳（メタデータ） (2021-05-21T15:47:18Z) - Adversarial Generation of Continuous Images [31.92891885615843]
本稿では,INRに基づく画像デコーダ構築のための2つの新しいアーキテクチャ手法を提案する。
私たちは、最先端の連続画像GANを構築するためにそれらを使用します。
提案したINR-GANアーキテクチャは連続画像生成装置の性能を数倍改善する。
論文 参考訳（メタデータ） (2020-11-24T11:06:40Z) - Locally Masked Convolution for Autoregressive Models [107.4635841204146]
LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。
我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
論文 参考訳（メタデータ） (2020-06-22T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。