論文の概要: Scale-Wise VAR is Secretly Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2509.22636v1
• Date: Fri, 26 Sep 2025 17:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.632957
• Title: Scale-Wise VAR is Secretly Discrete Diffusion
• Title（参考訳）: スケールワイズVARは極端に離散的拡散
• Authors: Amandeep Kumar, Nithin Gopalakrishnan Nair, Vishal M. Patel,
• Abstract要約: 次なるスケール予測 Visual Autoregressive Generation (VAR) は、拡散ベースモデルを超えながら、最近顕著な性能を示した。 本稿では,VARを再検討し,マルコフの注意マスクを装着した場合,VARは離散拡散と数学的に等価であることを示す。 本稿では, 繰り返し改良やVARへのアーキテクチャ不効率の低減, 収束の高速化, 推論コストの低減, ゼロショット再構成の改善など, 拡散の利点を直接インポートする方法を示す。
• 参考スコア（独自算出の注目度）: 48.994983608261286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive (AR) transformers have emerged as a powerful paradigm for visual generation, largely due to their scalability, computational efficiency and unified architecture with language and vision. Among them, next scale prediction Visual Autoregressive Generation (VAR) has recently demonstrated remarkable performance, even surpassing diffusion-based models. In this work, we revisit VAR and uncover a theoretical insight: when equipped with a Markovian attention mask, VAR is mathematically equivalent to a discrete diffusion. We term this reinterpretation as Scalable Visual Refinement with Discrete Diffusion (SRDD), establishing a principled bridge between AR transformers and diffusion models. Leveraging this new perspective, we show how one can directly import the advantages of diffusion such as iterative refinement and reduce architectural inefficiencies into VAR, yielding faster convergence, lower inference cost, and improved zero-shot reconstruction. Across multiple datasets, we show that the diffusion based perspective of VAR leads to consistent gains in efficiency and generation.
• Abstract（参考訳）: オートレグレッシブ(AR)トランスフォーマーは、そのスケーラビリティ、計算効率、言語とビジョンを備えた統一アーキテクチャのために、視覚生成の強力なパラダイムとして登場した。 そのうちの1つは、次のスケール予測であるVisual Autoregressive Generation (VAR) である。 本稿では,VARを再検討し,マルコフの注意マスクを装着した場合,VARは離散拡散と数学的に等価であることを示す。 本稿では、この再解釈を、離散拡散を用いたスケーラブル視覚再構成(SRDD)と呼び、ARトランスフォーマーと拡散モデルとの原則的ブリッジを確立する。 新たな視点を生かして、反復的な改良やVARへのアーキテクチャ不効率の低減、より高速な収束、推論コストの低減、ゼロショット再構成の改善といった拡散の利点を直接インポートする方法を示す。 複数のデータセットにまたがって、VARの拡散に基づく視点が効率と生成において一貫した向上をもたらすことを示す。

関連論文リスト

• Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation [81.40978077888693]
  対照的に、CLIP(Contrastive Language- Image Pre-training)は、下流のパフォーマンスにおいて重要なボトルネックとなっている。 近年のソリューションでは、拡散モデルを用いて、CLIP視覚トークンに画像再構成を条件付けることで表現を強化する。 我々は、より包括的な視覚表現を追求するために、コントラスト信号を拡散に基づく再構成に統合する。
  論文  参考訳（メタデータ） (2026-03-05T04:45:49Z)
• Diversity Has Always Been There in Your Visual Autoregressive Models [78.27363151940996]
  Visual Autoregressive (VAR)モデルは、最近、革新的な次世代の予測パラダイムに対して大きな注目を集めている。 それらの効率にもかかわらず、VARモデルは、数段階の蒸留拡散モデルで観察されたような多様性の崩壊に悩まされることが多い。 本稿では、VARモデルの生成多様性を、追加のトレーニングを必要とせずに復元する、シンプルで効果的なアプローチであるDiverse VARを紹介する。
  論文  参考訳（メタデータ） (2025-11-21T09:24:09Z)
• Your VAR Model is Secretly an Efficient and Explainable Generative Classifier [19.629406299980463]
  視覚自己回帰モデリングの最近の進歩に基づく新しい生成モデルを提案する。 VAR法は拡散法と根本的に異なる性質を示す。 特に, VARに基づく分類器は, 難易度が高いため, トークン単位の相互情報による視覚的説明が可能である。
  論文  参考訳（メタデータ） (2025-10-14T01:59:01Z)
• SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
  本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。 SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。 この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-07T17:29:28Z)
• Multi-scale Autoregressive Models are Laplacian, Discrete, and Latent Diffusion Models in Disguise [0.6875312133832079]
  反復リファインメントフレームワークのレンズを通して、Visual Auto Regressiveモデルを再考する。 我々はこれをラプラシア様式の潜伏ピラミッドを構成する決定論的前方過程として定式化し、学習された後方過程と組み合わせて少数の粗大なステップで再構成する。
  論文  参考訳（メタデータ） (2025-10-03T09:05:38Z)
• Diffusion Beats Autoregressive in Data-Constrained Settings [46.06809870740238]
  自己回帰(AR)モデルは長い間、大きな言語モデルのランドスケープを支配してきた。 近年,ARモデルよりもアドバンテージが低いものの,拡散型言語モデルが将来性のある選択肢として浮上している。
  論文  参考訳（メタデータ） (2025-07-21T17:59:57Z)
• RestoreVAR: Visual Autoregressive Generation for All-in-One Image Restoration [27.307331773270676]
  潜時拡散モデル(LDM)はオールインワン画像復元法(AiOR)の知覚的品質を大幅に改善した。 これらの LDM ベースのフレームワークは反復的なデノゲーションプロセスによって推論が遅くなり、時間に敏感なアプリケーションでは実用的でない。 本稿では, AiOR に対する新しい生成手法を提案し, LDM モデルよりも高速な推論を達成しつつ, 復元性能において LDM モデルよりも優れることを示す。
  論文  参考訳（メタデータ） (2025-05-23T15:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。