論文の概要: Taming Outlier Tokens in Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2605.05206v1
- Date: Wed, 06 May 2026 17:59:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.986021
- Title: Taming Outlier Tokens in Diffusion Transformers
- Title（参考訳）: 拡散変圧器における外部トークンの処理
- Abstract要約: 画像生成のための拡散変換器(DiT)の外部トークンについて検討する。
この現象は、現代の表現オートエンコーダ(RAE)-DiTパイプラインのエンコーダとデノイザの両方に現れる。
両コンポーネントのレジスタベースの介入であるDSR(Dual-Stage Registers)を導入する。
- 参考スコア（独自算出の注目度）: 55.42341508886889
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study outlier tokens in Diffusion Transformers (DiTs) for image generation. Prior work has shown that Vision Transformers (ViTs) can produce a small number of high-norm tokens that attract disproportionate attention while carrying limited local information, but their role in generative models remains underexplored. We show that this phenomenon appears in both the encoder and denoiser of modern Representation Autoencoder (RAE)-DiT pipelines: pretrained ViT encoders can produce outlier representations, and DiTs themselves can develop internal outlier tokens, especially in intermediate layers. Moreover, simply masking high-norm tokens does not improve performance, indicating that the problem is not only caused by a few extreme values, but is more closely related to corrupted local patch semantics. To address this issue, we introduce Dual-Stage Registers (DSR), a register-based intervention for both components: trained registers when available, recursive test-time registers otherwise, and diffusion registers for the denoiser. Across ImageNet and large-scale text-to-image generation, these interventions consistently reduce outlier artifacts and improve generation quality. Our results highlight outlier-token control as an important ingredient in building stronger DiTs.
- Abstract（参考訳）: 画像生成のための拡散変換器(DiT)の外部トークンについて検討する。
以前の研究では、視覚変換器(ViT)は限られたローカル情報を持ちながら不均等な注意を惹きつける少数のハイノームトークンを生成できることが示されているが、生成モデルにおけるそれらの役割は未解明のままである。
本稿では、この現象が現代の表現オートエンコーダ(RAE)-DiTパイプラインのエンコーダとデノイザの両方に現れることを示す。
さらに、単にハイノームトークンを隠蔽するだけでは性能が向上せず、問題の原因はいくつかの極端な値だけではなく、腐敗したローカルパッチセマンティクスと密接に関連していることを示している。
この問題に対処するため、DSR(Dual-Stage Registers)を導入し、利用可能な場合のトレーニングレジスタ、その他の場合には再帰的なテストタイムレジスタ、デノイザ用の拡散レジスタという、両方のコンポーネントに対するレジスタベースの介入について紹介する。
ImageNetと大規模なテキスト・ツー・イメージ生成を通じて、これらの介入は一貫してアウトリーチアーティファクトを削減し、生成品質を向上させる。
以上の結果から, より強力なDiTを構築する上では, 外部制御が重要な要素であることが明らかとなった。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Registers Matter for Pixel-Space Diffusion Transformers [22.836387612443037]
Vision Transformer (ViTs) は、機能マップの品質を低下させる、高いノームなパッチトークのアウトリーチを示すことで知られている。
DiT が ViT と重要な点で異なることを示す。
レジスタトークンは画素空間DiTの収束と生成品質を著しく向上させる。
論文 参考訳（メタデータ） (2026-05-15T16:27:10Z) - ViT Registers and Fractal ViT [7.970267053011483]
我々は、フラクタル ViT と呼ばれる大型ビジョントランス (ViT) の変種を発明し、試験する。
これらのモデルはレジスタ付きViTでは改善されず、これらの発見がスケール、ドメイン、アプリケーション固有のものであることを強調している。
論文 参考訳（メタデータ） (2026-01-21T22:24:53Z) - Vision Transformers Don't Need Trained Registers [19.41083885307305]
希少な神経細胞の集合はトークンの高ノルム活性化を集中させる。
これらのアーティファクトを緩和するために、トレーニング不要のアプローチを作成します。
その結果,テスト時のレジスタは,テスト時のレジスタトークンの役割を効果的に担っていることが示唆された。
論文 参考訳（メタデータ） (2025-06-09T17:59:57Z) - Vision Transformers with Self-Distilled Registers [11.649023403110528]
ポストホックレジスタ (PH-Reg) は、レジスタを既存のViTに統合する効率的な自己蒸留方式であり、ラベル付きデータの追加やフルリトレーニングを必要としない。
提案手法は,ゼロショットおよび線形探索による学生のViTのセグメンテーションと深度予測を改善することにより,アーティファクトトークンの数を効果的に削減できることを示す。
論文 参考訳（メタデータ） (2025-05-27T17:59:41Z) - Leveraging Registers in Vision Transformers for Robust Adaptation [36.30125926550378]
ビジョントランスフォーマー(ViT)は、グローバルな画像表現をキャプチャできるため、様々なタスクで成功している。
近年の研究では、ViTに高ノルムのトークンが存在することが確認されており、教師なしの物体発見に干渉する可能性がある。
これを解決するために、グローバルな画像レベルの情報をキャプチャしながら、高い標準パッチトークンを分離する追加トークンである"登録"が提案されている。
論文 参考訳（メタデータ） (2025-01-08T19:02:32Z) - Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。
本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。
我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文 参考訳（メタデータ） (2023-10-09T11:26:58Z) - Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。
ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。
画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-04T07:35:01Z) - Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。
提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文 参考訳（メタデータ） (2021-05-29T05:26:07Z) - TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。
トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。
第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
論文 参考訳（メタデータ） (2021-04-02T01:42:01Z) - Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。
本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。
言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
論文 参考訳（メタデータ） (2020-02-21T16:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。