論文の概要: AffineTok: Semantic Affine Consistency for Diffusion-Friendly Visual Tokenizer
- arxiv url: http://arxiv.org/abs/2608.23864v1
- Date: Mon, 24 Aug 2026 22:12:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.644742
- Title: AffineTok: Semantic Affine Consistency for Diffusion-Friendly Visual Tokenizer
- Title（参考訳）: AffineTok: ディフュージョンフレンドリーなビジュアルトケナイザのためのセマンティックアフィン一貫性
- Abstract要約: 我々は, 意味回復の目的を定義し, ノイズの多い潜伏者からクリーン画像の意味的内容を回復する。
既存のアプローチは、ノイズの多い潜伏者から直接意味を予測するためにプロジェクタを訓練する。
これはクリーンなイメージのセマンティクスの平均を予測しますが、本当に調整する必要があるのは、平均的なクリーンなラテントのセマンティクスです。
- 参考スコア（独自算出の注目度）: 46.791197884863415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual tokenizers increasingly inject semantic supervision into latent spaces to make downstream diffusion easier. Yet how these semantics should be organized to facilitate denoising remains underexplored. In this paper, we define the semantic recovery objective: the denoising process should recover the semantic content of the clean image from noisy latent, and a good tokenizer should make it easier. Existing approaches train a projector to predict the semantics directly from the noisy latent. We argue that this predicts the average of clean-image semantics, whereas what really needs to be aligned is the semantics of averaged clean latents. More importantly, we demonstrate that the semantic recovery error orthogonally decomposes into the error of the optimal semantic prediction directly from the noisy latent and the error between these two predictions. We therefore identify their consistency as the missing requirement and call it Semantic Affine Consistency (SAC). To examine whether this overlooked requirement is closely related to downstream generation, we introduce M_SAC, a tokenizer-side proxy for SAC. Across the evaluated tokenizers and diffusion model scales, M_SAC closely tracks generation quality, reaching a Pearson correlation of 0.960 with SiT-XL gFID, thereby motivating SAC-guided tokenizer training. We then introduce AffineTok, which promotes SAC through two complementary, training-only components. Global Semantic Coordination Token (GSCT) coordinates the semantic organization of clean latents, keeping semantic averaging meaningful, while Posterior-Mean Semantic Alignment (PMSA) predicts posterior-mean latents from noisy inputs and supervises their semantics. On ImageNet 256, compared with the baseline, AffineTok reduces gFID by 26% at 20 epochs and, with continued training, achieves a new state-of-the-art gFID of 1.21 without classifier-free guidance and 1.10 with guidance.
- Abstract（参考訳）: ビジュアルトークンライザは、下流拡散を容易にするために、潜在空間にセマンティックインスペクションを注入する。
しかし、これらの意味論をどのように組織化してデノベーションを促進するべきかは未定である。
本稿では,清潔な画像のセマンティックな内容が雑音に満ちた潜伏状態から回収され,良好なトークン化処理が容易に行えるように,意味回復の目的を定義した。
既存のアプローチは、ノイズの多い潜伏者から直接意味を予測するためにプロジェクタを訓練する。
これはクリーンなイメージのセマンティクスの平均を予測しますが、本当に調整する必要があるのは、平均的なクリーンなラテントのセマンティクスです。
さらに重要なことは、意味回復誤差が直交的に雑音の潜在状態から最適意味予測の誤差とこれら2つの予測間の誤差に分解されることである。
したがって、それらの一貫性を欠落した要件として認識し、セマンティックアフィン一貫性(Semantic Affine Consistency, SAC)と呼ぶ。
本稿では,SACのトークン化側プロキシであるM_SACを紹介する。
評価されたトークン化剤および拡散モデルスケール全体で、M_SACは生成品質を密に追跡し、Pearson相関の0.960とSiT-XL gFIDに到達し、SAC誘導トークン化訓練を動機付ける。
次にAffineTokを紹介します。これは2つの補完的なトレーニング専用コンポーネントを通じてSACを促進するものです。
Global Semantic Coordination Token (GSCT)はクリーンな潜伏者の意味的組織を調整し、意味的平均化を保ち、Posterior-Mean Semantic Alignment (PMSA)はノイズの多い入力から後生潜伏者を予測し、その意味を監督する。
ImageNet 256では、ベースラインと比較して、AffineTokは20のエポックでgFIDを26%削減し、継続的なトレーニングにより、分類不要のガイダンスなしで1.21の最先端のgFIDを新たに達成している。
関連論文リスト
- SC-Diff: Semantically Calibrated Diffusion for Visible-to-Infrared Image Translation [52.62632888060867]
可視赤外画像変換は、豊富な可視画像を用いて赤外線トレーニングデータを拡張するための実用的な方法を提供する。
既存の拡散に基づくメソッドは、通常、外部条件としてのみセマンティックプリエントを使用する。
SC-Diffは、条件付きガイダンスと内部自己注意校正の両方にセマンティックな事前情報を利用する意味論的潜伏拡散フレームワークである。
論文 参考訳（メタデータ） (2026-08-09T07:57:40Z) - Anchoring and Steering Diffusion: Enhancing the Faithfulness of Text-to-Image Generation at Inference Time [16.04233421396159]
AnchorSteerは、きめ細かい制御を行う、トレーニング不要のフレームワークである。
textbfAnchorSteerとそのコンポーネント。
GenEvalとT2I-CompBench++の実験は、AnchorSteerがテキストのアライメントにおいて既存のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-07-29T09:08:57Z) - Dynamic Eraser for Guided Concept Erasure in Diffusion Models [0.0]
本稿では,動的セマンティックステアリング(DSS)について述べる。
DSSは平均消去率91.0%を達成し、SOTA法(18.6%から85.9%)を著しく上回り、出力忠実度にはほとんど影響を与えない。
論文 参考訳（メタデータ） (2026-04-13T02:25:14Z) - BiGain: Unified Token Compression for Joint Generation and Classification [47.040577759493004]
BiGainは、高速拡散モデルにおける分類を改善しながら、生成品質を保ちながら、トレーニング不要でプラグアンドプレイのフレームワークである。
我々の重要な洞察は周波数分離であり、これは大域的な意味論から細部を解き、生成的忠実さと識別的有用性の両方を尊重する圧縮を可能にする。
本分析は,拡散モデルにおけるトークン圧縮のための信頼性の高い設計規則として,高頻度の細部と低周波数のセマンティクスを保存したスペクトル保持が重要であることを示す。
論文 参考訳（メタデータ） (2026-03-12T17:55:53Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳（メタデータ） (2025-10-16T17:39:21Z) - SemSim: Revisiting Weak-to-Strong Consistency from a Semantic Similarity Perspective for Semi-supervised Medical Image Segmentation [18.223854197580145]
医用画像分割のための半教師付き学習(SSL)は難しいが、非常に実践的な課題である。
セムシム(SemSim)という名前のFixMatchに基づく新しいフレームワークを提案する。
SemSimは3つの公開セグメンテーションベンチマークで最先端の手法よりも一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2024-10-17T12:31:37Z) - Semantic Connectivity-Driven Pseudo-labeling for Cross-domain
Segmentation [89.41179071022121]
自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。
本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。
このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
論文 参考訳（メタデータ） (2023-12-11T12:29:51Z) - SmooSeg: Smoothness Prior for Unsupervised Semantic Segmentation [27.367986520072147]
教師なしセマンティックセグメンテーションは、手動のアノテーションなしでイメージをセマンティックグループに分割する難しいタスクである。
本研究では,SmooSegという手法を提案する。SmooSegは,観察中の近接性関係をスムーズな信号としてモデル化する自己教師付き学習手法である。
SmooSegは3つのデータセットのピクセル精度でSTEGOを著しく上回っている。
論文 参考訳（メタデータ） (2023-10-27T03:29:25Z) - mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。
改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
論文 参考訳（メタデータ） (2022-03-29T09:08:18Z) - Two-phase Pseudo Label Densification for Self-training based Domain
Adaptation [93.03265290594278]
TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。
第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。
第2フェーズでは,信頼度に基づく容易な分類を行う。
トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
論文 参考訳（メタデータ） (2020-12-09T02:35:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。