論文の概要: Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers

• arxiv url: http://arxiv.org/abs/2610.40647v1
• Date: Thu, 29 Oct 2026 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.558863
• Title: Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
• Title（参考訳）: 読み, アロケート, 経路: 画素空間生成変換器のロール結合トークン化
• Abstract要約: SpecSlotは、グローバルアテンションシーケンスの長さから出力の詳細を分離するピクセル空間整流トランスである。 ImageNet-256では、SpecSlotはFLOPにマッチした JiT コントロールに匹敵する最終的な FID を達成すると同時に、より高速な収束を実現している。
• 参考スコア（独自算出の注目度）: 48.32517985029256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel-space generative Transformers typically use one token per image patch, so capturing finer detail requires more tokens and makes global attention increasingly expensive. We observe that finer detail does not necessarily require more global communication: low-frequency structure benefits from global exchange, while high-frequency detail can be modeled locally. Based on this insight, we introduce SpecSlot, a pixel-space rectified-flow Transformer that decouples output detail from the length of the global attention sequence. SpecSlot expands each spatial anchor into multiple slots, each assigned a disjoint band of DCT coefficients; this separates anchor density from spectral subdivision. Only the lowest-frequency slot from each anchor participates in global attention, while all slots interact locally. This allows the model to increase spectral detail without enlarging the global sequence. A spatial head further adds a local correction to the spectral prediction, while the generative state, target, and loss remain in pixel space. On ImageNet-256, SpecSlot achieves a comparable final FID to a FLOPs-matched JiT control while converging faster. On ImageNet-512, it improves FID by 2.84 over the control with 3.9% fewer FLOPs, and comes within only 0.69 FID of JiT-B/16 at 38.2% lower cost. On text-to-image generation, SpecSlot surpasses JiT-B/8 on DPG-Bench by 1.06 at 40.6% lower forward cost.
• Abstract（参考訳）: ピクセル空間生成トランスフォーマーは通常、イメージパッチ毎に1つのトークンを使用するため、より細部をキャプチャするにはより多くのトークンが必要で、グローバルな注目がますます高価になる。 より微細なディテールは必ずしもよりグローバルなコミュニケーションを必要としない:低周波構造はグローバルな交換から恩恵を受けるが、高周波のディテールは局所的にモデル化できる。 この知見に基づいて、グローバルアテンションシーケンスの長さから出力の詳細を分離するピクセル空間整流トランスであるSpecSlotを導入する。 SpecSlotは各空間アンカーを複数のスロットに拡張し、それぞれDCT係数の非結合帯域を割り当て、スペクトル分割からアンカー密度を分離する。 各アンカーの最低周波数スロットのみがグローバルアテンションに参加し、すべてのスロットがローカルに相互作用する。 これにより、グローバルシーケンスを拡大することなくスペクトルの詳細を増大させることができる。 空間ヘッドはさらにスペクトル予測に局所補正を加え、生成状態、ターゲット、損失は画素空間に残る。 ImageNet-256では、SpecSlotはFLOPにマッチした JiT コントロールに匹敵する最終的な FID を達成すると同時に、より高速な収束を実現している。 ImageNet-512では、FLOPを3.9%減らしてFIDを2.84改善し、JT-B/16の0.69 FIDを38.2%安く抑える。 テキスト・ツー・イメージ・ジェネレーションでは、SpecSlotはDPG-BenchのJIT-B/8を40.6%の低価格で1.06で上回っている。

関連論文リスト

• Balancing Frequencies and Pixels in Flow Matching [43.75072807799361]
  画素空間再構成の目的は全ての空間誤差を均一に処理し、低周波が最適化信号を支配する。 本稿では,周波数間の学習信号の等化を図ったFocal Log-Frequency Loss目標を提案する。 われわれのアプローチは概念的には単純で、アーキテクチャの変更は必要とせず、フローマッチング損失の代替として機能する。
  論文  参考訳（メタデータ） (2026-09-02T15:49:24Z)
• RoofGS: Roofline-Guided End-to-End Acceleration of 3D Gaussian Splatting [20.838595758539498]
  RoofGSは、一般的なカーネルアクセラレーションではなく、ボトルネック固有の最適化を適用するレンダリングフレームワークである。 実験の結果、RoofGSは指数指数指数4090よりも10.1ドルのエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-16T15:06:39Z)
• FreqFormer: Hierarchical Frequency-Domain Attention with Adaptive Spectral Routing for Long-Sequence Video Diffusion Transformers [0.0]
  本稿ではFreqFormerについて紹介する。 トークンの特徴は、異なる演算子を持つスペクトルバンドに分割される。 FreqFormerは、推定アテンションFLOPとKV関連のメモリトラフィックを高密度アテンションに対して大幅に削減する。
  論文  参考訳（メタデータ） (2026-04-14T08:29:10Z)
• PiT: Progressive Diffusion Transformer [50.46345527963736]
  拡散変換器(DiT)は変換器アーキテクチャを用いて画像生成において顕著な性能を発揮する。 DiTは以前信じられていたようなグローバルな情報に大きく依存していない。 Pseudo Progressive Diffusion Transformer (PiT)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T15:02:33Z)
• Inception Transformer [151.939077819196]
  インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。 我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-05-25T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。