論文の概要: Decoding Register Tokens Preserves Global Scene Details
- arxiv url: http://arxiv.org/abs/2610.13299v1
- Date: Fri, 09 Oct 2026 09:46:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.509813
- Title: Decoding Register Tokens Preserves Global Scene Details
- Title（参考訳）: Decoding Register Tokensは、グローバルなシーンを保存してくれる
- Abstract要約: 完全空間パッチ表現が既に利用可能である場合,レジスタの保持が復号化を改善するかを検討する。
我々のデコーダは4つのレジスタトークンと全てのパッチトークンを共同で処理する。
例えば、我々のViT-Bデコーダは、DINOv2で0.472、DINOv3で0.442、それぞれのパッチのみのベースラインに対して9.5%と5.2%のFIDを平均再構成する。
- 参考スコア（独自算出の注目度）: 1.7223312853168844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained vision transformers learn structured image representations spanning spatial patch tokens and non-spatial tokens. Recent analyses suggest that non-spatial register tokens encode global scene properties such as illumination, blur, and style. Yet patch-based image decoders discard these outputs, leaving the decoder to recover image appearance from patches alone. We investigate whether retaining register features improves decoding when the complete spatial patch representation is already available. We study this question using representation autoencoders (RAEs) with frozen register-equipped encoders. Our decoder processes four register tokens together with all patch tokens through joint self-attention. Appearance probes, paired reconstruction-error analysis, and fixed-decoder register substitutions examine which global image properties are accessible from registers and how their values affect reconstructed pixels. For generation, we train a multi-head attention pooling (MHAP) predictor to recover register features from sampled patches, keeping the pretrained diffusion model and its samples unchanged. On ImageNet-1K, our ViT-B decoders achieve mean reconstruction FIDs of 0.472 with DINOv2 and 0.442 with DINOv3, reductions of 9.5% and 5.2% relative to their respective patch-only baselines. The corresponding PSNRs are 19.73 and 20.54 dB. For generation, our DINOv2 models achieve a mean FID of 1.641, 9.8% below the patch-only baseline on identical sampled patches.
- Abstract（参考訳）: 事前訓練された視覚変換器は、空間パッチトークンと非空間トークンにまたがる構造化画像表現を学習する。
近年の研究では、非空間レジスタトークンが照明、ぼやけ、スタイルなどのグローバルなシーン特性を符号化していることが示唆されている。
しかし、パッチベースのイメージデコーダはこれらの出力を破棄し、デコーダはパッチのみからイメージの外観を回復する。
完全空間パッチ表現が既に利用可能である場合,レジスタの保持が復号化を改善するかを検討する。
本研究では,表現オートエンコーダ (RAE) と冷凍レジスタ付きエンコーダを用いた。
我々のデコーダは4つのレジスタトークンと全てのパッチトークンを共同で処理する。
出現プローブ、ペア再構成エラー解析、固定デコーダレジスタ置換は、どのグローバルな画像特性がレジスタからアクセス可能か、それらの値が再構成画素にどのように影響するかを調べる。
筆者らは,MHAP(Multi-head attention pooling)予測器を訓練し,サンプルパッチからレジスタの特徴を復元し,事前学習した拡散モデルとそのサンプルを一定に保つ。
ImageNet-1Kでは、我々のViT-Bデコーダは、DINOv2で0.472、DINOv3で0.442、それぞれのパッチのみのベースラインに対して9.5%と5.2%のFIDを平均再構成する。
対応するPSNRは19.73と20.54dBである。
例えば、我々のDINOv2モデルは、同一のサンプルパッチに対するパッチのみのベースラインより9.8%低い1.641のFIDを達成する。
関連論文リスト
- Rethinking Generative Image Compression at Extremely Low Bitrates [56.035931340138006]
本稿では、圧縮された表現とソース表現を直接アライメントする表現オートエンコーダ(RAE)空間上に構築された圧縮指向拡散(CoD)であるRAE-CoDを紹介する。
5つの視覚基盤モデル(VFM)と視覚言語モデルプロトコルを用いて,この枠組みを評価する。
論文 参考訳（メタデータ） (2026-09-30T08:53:11Z) - Rate-Adaptive One-Step Diffusion Compression for AIGC Images [0.0]
我々は,LoViF 2026 AIGC Image Compression Challengeへの参加について述べる。
これは、1ピクセルあたり0.025ビットという厳格なグローバルレート予算の下で、AI生成画像の超低ビットレート符号化のベンチマークである。
本報告では, 完全パイプライン, 77個の検層実験にまたがるアブレーション履歴, 否定的な結果の集合について報告する。
論文 参考訳（メタデータ） (2026-09-25T06:29:04Z) - Channel-wise Vector Quantization [59.96775089792198]
本稿では,パッチワイズトークンをチャネルワイズトークンに置き換える新しい画像トークン化パラダイムとして,チャネルワイズベクトル量子化(CVQ)を提案する。
CVQは、イメージをパッチのグリッドとしてではなく、個別の視覚的詳細レベルとして表現する。
CVQは16K以上のコードブックサイズで100%のコードブック利用を実現し,従来のベクトル量子化よりも再現性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-05-25T17:52:08Z) - Taming Outlier Tokens in Diffusion Transformers [55.42341508886889]
画像生成のための拡散変換器(DiT)の外部トークンについて検討する。
この現象は、現代の表現オートエンコーダ(RAE)-DiTパイプラインのエンコーダとデノイザの両方に現れる。
両コンポーネントのレジスタベースの介入であるDSR(Dual-Stage Registers)を導入する。
論文 参考訳（メタデータ） (2026-05-06T17:59:42Z) - DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation [10.719563134726057]
本稿では,デコーダのみの自己回帰モデルであるDPARについて述べる。
DPAR は Imagenet 256 と 384 でそれぞれトークン数を 1.81x と 2.06x に削減し、トレーニングコストの最大40% FLOP を削減した。
論文 参考訳（メタデータ） (2025-12-26T05:03:47Z) - Spectral Image Tokenizer [21.84385276311364]
Image tokenizersは、画像を個別のトークンのシーケンスにマップする。
離散ウェーブレット変換(DWT)から得られる画像スペクトルのトークン化を提案する。
我々はトークン化のメトリクスをマルチスケール画像生成、テキスト誘導画像アップサンプリング、編集として評価する。
論文 参考訳（メタデータ） (2024-12-12T18:59:31Z) - Regress Before Construct: Regress Autoencoder for Point Cloud
Self-supervised Learning [18.10704604275133]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。
本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
論文 参考訳（メタデータ） (2023-09-25T17:23:33Z) - Attribute Surrogates Learning and Spectral Tokens Pooling in
Transformers for Few-shot Learning [50.95116994162883]
ビジョントランスフォーマーは、視覚認識のための畳み込みニューラルネットワークに代わる有望な選択肢だと考えられている。
本稿では,スペクトルトークンプールによる固有画像構造を利用した階層的カスケード変換器を提案する。
HCTransformersはDINOベースラインを9.7%の5ウェイの1ショット精度と9.17%の5ウェイの5ショット精度で上回っている。
論文 参考訳（メタデータ） (2022-03-17T03:49:58Z) - Context Autoencoder for Self-Supervised Representation Learning [64.63908944426224]
符号化された表現空間で予測を行うことにより、符号化器を事前訓練する。
ネットワークはエンコーダ/レグレッサ/デコーダアーキテクチャである。
下流タスクにおける転送性能の向上によるCAEの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-07T09:33:45Z) - Improving Auto-Encoders' self-supervised image classification using
pseudo-labelling via data augmentation and the perceptual loss [0.9558392439655015]
擬似ラベルのない画像に新しい手法を導入し、オートエンコーダを訓練して自己教師付きで分類する。
提案手法は,まずランダムにサンプル化したデータ拡張変換をトレーニング画像に適用する。
オートエンコーダを用いて、拡張画像の各セットとその対応する擬似ラベル間のマッピングを学習する。
論文 参考訳（メタデータ） (2020-12-06T17:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。