論文の概要: SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models

• arxiv url: http://arxiv.org/abs/2610.13997v1
• Date: Sun, 27 Sep 2026 00:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.453034
• Title: SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
• Title（参考訳）: SharedSAE: u-netブロックにまたがる統一スパース辞書と拡散モデルの認知時間
• Abstract要約: 拡散モデルにおける概念表現は、ネットワーク深度と雑音の時間にわたって漂流する。 共有スパースオートエンコーダ(SharedSAE)は、4つのU-Netアテンションブロックと、SDXL 1.0の50ステップすべてで共有されるスパース辞書を学習する。
• 参考スコア（独自算出の注目度）: 3.7384509727711923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept representations in diffusion models drift across network depth and denoising time, yet existing sparse autoencoders offer only per-block or per-timestep dictionaries, leaving no single feature dictionary for localization and intervention in the network. We present Shared Sparse Autoencoder (SharedSAE), which learns one sparse dictionary shared across four U-Net attention blocks and all 50 denoising steps of SDXL 1.0. A block-specific low-rank input adapter aligns the residual distribution of each block before the shared encoder, and a temporal conditioning module with a shared timestep branch and a block-timestep correction branch absorbs temporal non-stationarity. Despite spanning both axes, Shared SAE preserves a coherent dictionary structure. Built on the shared dictionary, localized feature suppression reduces the number of NudeNet-positive generations in the I2P detector-positive subset from 139 to 1. Tracing sparse features across the trajectory further reveals that concept representations are redistributed across U-Net blocks during generation, shifting from the earliest downsampling block toward intermediate and later blocks as denoising proceeds. SharedSAE thus provides a unified, interpretable, and intervention-ready representation space for diffusion models, enabling concept analysis and erasure at any covered block and denoising step.
• Abstract（参考訳）: 拡散モデルにおける概念表現は、ネットワークの深さと遅延時間を超えてドリフトするが、既存のスパースオートエンコーダはブロック単位またはタイムステップ単位の辞書のみを提供し、ネットワークのローカライズと介入のための単一の特徴辞書は残っていない。 共有スパースオートエンコーダ(SharedSAE)は、4つのU-Netアテンションブロックと、SDXL 1.0の50ステップすべてで共有されるスパース辞書を学習する。 ブロック固有の低ランク入力アダプタは、共有エンコーダの前に各ブロックの残差分布を整列し、時間条件モジュールは、共有時間ステップブランチとブロック時間ステップ補正ブランチとで時間的非定常性を吸収する。 両方の軸にまたがっているにもかかわらず、Shared SAEはコヒーレントな辞書構造を保っている。 共有辞書上に構築された局所的特徴抑制は、I2P検出器陽性サブセットにおけるNudeNet陽性世代数を139から1に減少させる。 軌跡をまたぐスパースな特徴の追跡により、概念表現は生成中にU-Netブロックに再分散され、初期ダウンサンプリングブロックから中間ブロックへ移行する。 共有SAEは、拡散モデルに対して統一的で解釈可能で介入対応の表現空間を提供し、任意の被覆ブロックにおける概念解析と消去を可能にする。

関連論文リスト

• One Block Ahead: Promoting Sampler State in Diffusion Language Models [99.46600508506799]
  ブロック拡散言語モデルはトークンの位置のブロック全体を並列に識別し、各フォワードパスは多数のトークンを出力する。 学習不要な復号アルゴリズムであるOne Block Ahead (OBA)を提案する。
  論文  参考訳（メタデータ） (2026-10-14T03:28:31Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders [103.46709005379591]
  概念消去は、事前訓練されたモデルから不要なセマンティクスを取り除くことによって、原則化された救済を提供する。 既存のアプローチは一般に粗い品質で動作し、概念表現の微細で分散した性質と不一致である。 外科的概念の消去を実現するためにスパースオートエンコーダを利用する新しいフレームワークであるEraseSAEを提案する。
  論文  参考訳（メタデータ） (2026-09-03T10:23:37Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference [15.424211656458453]
  拡散言語モデルは、複数のトークン位置を並列に反復的に認知することでテキストを生成する。 小さなブロックはローカル条件を保存するが、多くのデノーミングステップを必要とするが、大きなブロックはより並列性を公開するが、早期のコミットとキャッシュエラーを蓄積することができる。 バッチ転送パス内で同じリクエストに対して複数のブロックサイズのブランチを実行する,トレーニング不要なオンライン推論フレームワークであるBlockBatchを提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:48:29Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。