論文の概要: Unlocking Any-Order Generation in Pretrained Autoregressive Image Models

• arxiv url: http://arxiv.org/abs/2610.39293v1
• Date: Thu, 29 Oct 2026 03:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.453584
• Title: Unlocking Any-Order Generation in Pretrained Autoregressive Image Models
• Title（参考訳）: 事前学習した自己回帰画像モデルにおける任意の順序生成のロック解除
• Abstract要約: 自己回帰(AR)画像生成装置は原理的には強力だが、実際には非柔軟である。 固定スキャン順序でのトレーニングは、イメージ分布の1つの因子化をハードコードし、推論時にインペイント、アウトペイント、編集ができない。 本稿では,事前学習されたスキャンモデルを任意の順序で生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 30.64733160414122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive (AR) image generators are powerful in principle but inflexible in practice: training with a fixed raster-scan order hardcodes a single factorization of the image distribution into the model, leaving it unable to inpaint, outpaint, or edit at inference time. Existing solutions, including the modern discrete-diffusion family, train from scratch on a mixture of token orderings, paying roughly 3x the compute of standard raster-scan training; discrete diffusion further sacrifices compatibility with the AR inference ecosystem (KV caching, vLLM) by construction. We argue that this cost is unnecessary. A pretrained raster-scan AR model has already learned the joint distribution over image tokens; what it lacks is not knowledge but the ability to express that knowledge through non-sequential conditional pathways. We propose a recipe for adapting pretrained raster-scan models into any-order generators using two components: future-aware positional embeddings that resolve a target-position identifiability problem at negligible overhead, and an ordering curriculum that traces a stable optimization path from the pretrained solution to a good any-order basin. Applied to four base models across two architectures and two scales (LlamaGen-L/XL, RAR-L/XL), the recipe substantially outperforms MaskGIT on ImageNet inpainting (FID 6.21 vs. 10.44) and outpainting, is competitive with MAR-L, trades a 1.2-1.9 increase in class-conditional FID for this flexibility, and costs 13-33% additional compute beyond pretraining, while leaving the standard AR inference stack untouched. Inpainting, outpainting, and editing, our results suggest, need not be added to autoregressive image models. They can be unlocked from the ones that exist. Code is available at https://github.com/Ordered-AR/unlockedadaptation.
• Abstract（参考訳）: 固定されたラスタースキャンオーダーによるトレーニングは、イメージ分布の1つの分解をモデルにハードコードし、インペイント、アウトペイント、あるいは推論時に編集することができない。 現代の離散拡散ファミリーを含む既存のソリューションは、トークン注文の混合でゼロからトレーニングし、標準的なラスタスキャントレーニングの計算の約3倍を支払っている。 私たちはこのコストは不要だと主張する。 事前訓練されたラスタスキャンARモデルは、既に画像トークン上の共同分布を学習している。 本稿では,事前学習したラスタスキャンモデルを任意の順序生成器に適用するためのレシピを提案する。 2つのアーキテクチャと2つのスケール(LlamaGen-L/XL, RAR-L/XL)にまたがる4つのベースモデルに適用されたレシピは、ImageNet inpainting (FID 6.21 vs. 10.44)でMaskGITを実質的に上回り、MAR-Lと競合する。 この結果から, 自動回帰画像モデルに塗り絵, 塗り絵, 編集を付加する必要はないことが示唆された。 それらは、存在するものから解放される。 コードはhttps://github.com/Ordered-AR/unlockedadaptationで入手できる。

関連論文リスト

• Are We Overthinking One-Step Generation? [85.08096783529525]
  ワンステップジェネレータをトレーニングするためのシンプルなフレームワークであるPriming Modelsを紹介します。 プライミングモデル(Priming Models)は、スクラッチからの分散トレーニングの難しさに感銘を受けて、最初に再構築目標に基づいて訓練される。 我々は,従来の手法のトレーニング計算の約10分の1を用いて,1ステップのジェネレータのうち1.19ドルという最先端のFIDを実現する。
  論文  参考訳（メタデータ） (2026-10-14T15:14:43Z)
• Logit Refiner: Improving Visual Autoregressive Models via Intra-Scale Dependency Modeling [21.906953897227442]
  ビジュアル自己回帰モデルは、次のスケールの予測を通じて画像を生成する。 平均場近似は、同じスケールのトークン間で空間的依存関係を破棄する。 Logit Refinerは、冷凍バックボーン機能に条件付きトークンを順次サンプリングすることで、スケール内の依存関係を復元する。
  論文  参考訳（メタデータ） (2026-09-10T16:57:05Z)
• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• Beyond Next-Token: Next-X Prediction for Autoregressive Visual Generation [34.112157859384645]
  自己回帰(AR)モデリングは、最先端の言語と視覚的生成モデルを支える。 伝統的に、トークン'' は最小の予測単位として扱われ、しばしば言語における離散的なシンボルまたは視覚における量子化されたパッチとして扱われる。 トークンの概念をエンティティXに拡張するフレームワークであるxARを提案する。
  論文  参考訳（メタデータ） (2025-02-27T18:59:08Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling [23.164631160130092]
  BERT型事前学習(仮面画像モデリング)の成功を畳み込みネットワーク(畳み込みネットワーク)に拡張する。 我々は、3次元点雲のスパースボクセルとして非マス化画素を扱い、スパース畳み込みを用いてエンコードする。 これは2次元マスクモデリングにおけるスパース畳み込みの最初の使用である。
  論文  参考訳（メタデータ） (2023-01-09T18:59:50Z)
• NP-DRAW: A Non-Parametric Structured Latent Variable Modelfor Image Generation [139.8037697822064]
  NP-DRAWと呼ばれる画像生成のための非パラメトリック構造化潜在変数モデルを提案する。 後続のキャンバスをパーツ単位で順次描画し、それをキャンバスからデコードする。
  論文  参考訳（メタデータ） (2021-06-25T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。