WithinVAE: Compact Visual Autoencoding with Self-Distilled Semantics
Abstractの概要
本論文では、外部の事前学習済み認識エンコーダに依存することなく、視覚オートエンコーダの内部で直接意味構造を学習できるかを検証しています。著者らは、順序付き潜在ボトルネック、位置依存のトークンマスキング、ならびにDINOやiBOTに着想を得たEMAベースの大域的・局所的自己蒸留を備えたコンパクトな変分オートエンコーダ「WithinVAE」を提案しています。256×256解像度のImageNet-1Kにおける評価では、再構成忠実度、固定特徴量としての意味的品質、プレフィックス復元、下流の潜在拡散生成、および代替再構成インターフェースへの転移性能が検証されています。実験結果は、自己蒸留による意味情報が、コンパクトな潜在インターフェースを維持しながら再構成品質と固定特徴量表現の双方を向上させることを示しています。
新規性
WithinVAEは、オートエンコーダ自体の指数移動平均（EMA）コピーを介してオンラインで意味的教師信号を生成することにより、外部の事前学習済み表現モデルの必要性を排除しています。位置依存のトークンマスキングと組み合わせることで、この自己蒸留フレームワークは、コンパクトな1次元潜在ボトルネックの内部で意味構造と再構成構造を直接体系化します。
成果
ImageNet-1Kにおいて、WithinVAEはRPiAEの半分の潜在スカラー容量（8,192対16,384）を用いながら報告された4つの再構成指標すべてを改善し、PSNRで1.36 dBの向上を達成しました。固定特徴量評価では、その潜在表現により線形プロービング精度がRPiAE比で6.482ポイント、再構成のみのベースライン比で5.072ポイント向上し、128トークンのプレフィックスはRPiAEの4分の1のスカラー容量でRPiAEを上回るPSNRおよびSSIMを達成しました。
論文の注目点
- WithinVAEは潜在変数を位置依存の破損を伴う順序付き1次元変分系列に配置し、初期トークンが再学習なしでプレフィックス復元に最も重要な再構成情報を担う信頼性勾配を確立しています。
- アブレーション実験により、意味論的性能はアーキテクチャ単体ではなく自己蒸留に直接起因することが確認され、大域的および局所的なEMAベースの蒸留を組み合わせることで線形プロービングと再構成指標の双方が向上しました。
- この自己蒸留フレームワークは補助的なpixel-to-latentおよびlatent-to-latentインターフェースへの転移に成功し、生成指標全体では及ばないものの、下流の拡散生成においてガイダンスなしの再現率でRPiAEを上回る表現をサポートします。