論文の概要: PixelMoE: Scaling Pixel-Space Diffusion with LLM-Style Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2610.18857v1
• Date: Tue, 13 Oct 2026 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:21:56.432441
• Title: PixelMoE: Scaling Pixel-Space Diffusion with LLM-Style Mixture-of-Experts
• Title（参考訳）: PixelMoE: LLM-Style Mixture-of-Expertsによる画素空間拡散のスケーリング
• Abstract要約: PixelMoEは、標準のLCMスタイルのMoEでモデルキャパシティをわずかにスケールするピクセル空間生成フレームワークである。 PixelMoEは、モデルスケールにまたがる密集した性能を一貫して上回っている。 クラス条件の ImageNet-1K では、PixelMoE は 256x256 で 1.47 と 512x512 で FID スコアを達成している。
• 参考スコア（独自算出の注目度）: 64.70296429705293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pixel-space diffusion models provide an appealing alternative to latent-space diffusion models by directly modeling raw images without relying on a learned tokenizer. However, scaling pixel-space models has predominantly followed dense strategies, tightly coupling model capacity with active computation. In this work, we show that standard LLM-style Mixture-of-Experts (MoE) architectures can be effectively transferred to pixel-space diffusion. Building on this finding, we introduce PixelMoE, a pixel-space generative framework that sparsely scales model capacity with standard LLM-style MoE, without diffusion-specific routing mechanisms or auxiliary routing objectives. Specifically, PixelMoE combines standard Token-Choice (TC) routing with fine-grained routed experts for input-adaptive sparse computation, a shared expert for capturing common representations, and a bias-based load-balancing strategy. To complement sparse capacity scaling, PixelMoE further introduces Pixel-Space Hierarchical Flow Matching, which varies spatial resolution along the denoising trajectory from global structure formation to fine-grained detail refinement. At comparable active parameter counts, PixelMoE consistently outperforms its dense counterparts across model scales, demonstrating effective sparse capacity scaling in pixel space. On class-conditional ImageNet-1K, PixelMoE achieves FID scores of 1.47 at 256x256 and 1.53 at 512x512 without representation alignment or perceptual losses, comparing favorably with leading pixel-space and latent-space generative models. Code and models will be released soon.
• Abstract（参考訳）: 画素空間拡散モデルは、学習したトークン化子に頼ることなく、生画像を直接モデル化することで、潜在空間拡散モデルの魅力的な代替手段を提供する。 しかし、ピクセル空間モデルのスケーリングは主に密度の高い戦略に従っており、モデルのキャパシティはアクティブな計算と密結合している。 本研究では,標準LLMスタイルのMixture-of-Experts (MoE)アーキテクチャを,ピクセル空間拡散に効果的に転送可能であることを示す。 この発見に基づいて、拡散特異的なルーティング機構や補助的なルーティング目的を使わずに、標準LLMスタイルのMoEでモデルキャパシティをスパーススケールするピクセル空間生成フレームワークであるPixelMoEを導入する。 具体的には、標準的なToken-Choice(TC)ルーティングと、入力適応スパース計算のためのきめ細かいルーティング専門家、共通表現をキャプチャする共有エキスパート、バイアスベースのロードバランシング戦略を組み合わせる。 スパース容量のスケーリングを補完するため、PixelMoEはさらにPixel-Space Hierarchical Flow Matchingを導入している。 同等のアクティブパラメータ数で、PixelMoEはモデルスケールで常にその密度の高いパラメータを上回り、ピクセル空間における効果的なスパースキャパシティスケーリングを実証している。 クラス条件の ImageNet-1K では、PixelMoE は 256x256 で 1.47 と 512x512 で FID スコアを達成している。 コードとモデルはまもなくリリースされる。

関連論文リスト

• Advanced Pixel Diffusion Model with Guided Sparse Global Refinement [22.761844947334847]
  Sparse Global Refinement を用いた新しい拡散フレームワーク PixSGR を提案する。 PixSGRは教師付き低チャネルボトルネックから始まり、自然画像の低次元多様体を効率的に捉える。 その後、チャネル次元と空間分解能を徐々に拡大し、より微細な構造を回復する。
  論文  参考訳（メタデータ） (2026-09-01T06:50:37Z)
• Representation Forcing for Bottleneck-Free Unified Multimodal Models [76.99907273945493]
  統一マルチモーダルモデル(UMM)は、単一モデルにおける知覚と生成を扱うことを目的としている。 既存のUMMは、画像生成のために別々に訓練された凍結したVAEに依存しており、構造的なボトルネックを示唆している。 本稿では,表現予測をモデルのネイティブ機能にすることで,このギャップを埋める手法であるRepresentation Forcing(RF)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T17:59:55Z)
• PixelDiT: Pixel Diffusion Transformers for Image Generation [48.456815413366535]
  PixelDiTはDiffusion Transformers用の単一ステージのエンドツーエンドモデルである。 オートエンコーダの必要性を排除し、ピクセル空間内で拡散過程を直接学習する。 ImageNet 256x256で1.61 FIDを達成し、既存のピクセル生成モデルを大きく上回っている。
  論文  参考訳（メタデータ） (2025-11-25T18:59:25Z)
• DiP: Taming Diffusion Models in Pixel Space [91.51011771517683]
  Diffusion Transformer (DiT) バックボーンは、効率的なグローバル構造構築のために大きなパッチで動作する。 共同トレーニングされた軽量パッチディーラーヘッドは、コンテキスト機能を活用して、きめ細かいローカル詳細を復元する。
  論文  参考訳（メタデータ） (2025-11-24T06:55:49Z)
• Simpler Diffusion (SiD2): 1.5 FID on ImageNet512 with pixel-space diffusion [34.70370851239368]
  画素空間モデルは、品質と効率の両方において、潜在モデルと非常に競合することを示す。 エンド・ツー・エンドのピクセル空間拡散モデルを高分解能に拡張するための簡単なレシピを提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:20:06Z)
• SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing [1.8024397171920885]
  この研究は、局所空間コンテキストを考慮したLDVAE (Latent Dirichlet Variational Autoencoder) ピクセルアンミックス方式を拡張した。 提案手法は,等方性畳み込みニューラルネットワークを用いて,エンドメンバー上のディリクレ分布として画素を符号化する。
  論文  参考訳（メタデータ） (2023-11-17T18:45:00Z)
• PixelPyramids: Exact Inference Models from Lossless Image Pyramids [58.949070311990916]
  Pixel-Pyramidsは、画像画素の関節分布を符号化するスケール特異的表現を用いたブロック自動回帰手法である。 様々な画像データセット、特に高解像度データに対する密度推定の最先端結果が得られる。 CelebA-HQ 1024 x 1024 では,フローベースモデルの並列化よりもサンプリング速度が優れているにもかかわらず,密度推定値がベースラインの 44% に向上することが観察された。
  論文  参考訳（メタデータ） (2021-10-17T10:47:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。