Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
Abstractの概要
SpecSlotは、出力の詳細度を大域的アテンションの系列長から切り離すよう設計された、ピクセル空間のRectified-Flow Transformerです。空間的アンカーを介して画像を読み込み、各アンカーの出力を異なる周波数群が割り当てられたスロット間で分割した上で、最低周波数のスロットのみを大域的にルーティングします。空間的な補正により、アテンショントークンを追加することなくスペクトル出力を補完します。ImageNetおよびText-to-Image生成に関する実験で品質と計算量のトレードオフを評価し、アブレーションにより割り当て、ルーティング、出力の設計を検証しています。
新規性
固定されたスペクトル出力の役割を通信資格と結びつけている点が特徴的であり、各アンカーの最低周波数スロットが大域的なキャリアとして機能する一方で、すべてのスロットが局所的に相互作用します。これにより、単一のピクセル空間バックボーン内において、アンカー密度とスペクトル細分割を別個の割り当て選択肢とすることが可能になります。
成果
ImageNet-256において、SpecSlotは計算量をほぼ一致させたJiT対照群のFID 6.68に対し平均FID 6.59を達成し、学習の序盤から中盤にかけてより速い収束を示しました。ImageNet-512では、順伝播FLOPsを3.9%削減しつつ、対照群の11.98に対して9.14のFIDを達成しました。Text-to-Image生成では、GenEvalではJiT-B/8の方が高スコアであったものの、DPG-Benchにおいて順伝播コストを40.6%抑えながらJiT-B/8の61.15を上回る62.21を記録しました。
論文の注目点
- 大域的アテンションは空間アンカーごとに1つのキャリアを処理するため、大域的な系列長を比例して増やすことなくスペクトルスロットを追加できる。
- 固定されたアンカーグリッドにおいて、スペクトルスロットの追加は計算コストの増加に伴いImageNet-256のFIDを改善したが、検証された構成全体で収穫逓減が見られた。
- アブレーションにより、スペクトル出力と空間出力を組み合わせることでいずれかの単一基底出力よりもFIDが改善すること、また最低周波数スロットを大域キャリアとして用いることが検証された他のキャリア選択肢よりも優れていることが判明した。
参考リンク
- arXiv: https://arxiv.org/abs/2610.40647v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2610.40647v1
- Hugging Face Papers: https://huggingface.co/papers/2610.40647
- GitHub: https://github.com/JiongfanYang/SpecSlot
- Hugging Face: https://huggingface.co/Gokottaw434/SpecSlot
- Project: https://yangjiongfan.site/specslot/