論文の概要: D-Scope: Decomposing and Steering Diffusion Transformers with Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2609.39625v1
- Date: Wed, 30 Sep 2026 12:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.762713
- Title: D-Scope: Decomposing and Steering Diffusion Transformers with Sparse Autoencoders
- Title（参考訳）: D-Scope:スパースオートエンコーダを用いた分解・ステアリング拡散変換器
- Abstract要約: D-Scopeは、視覚的証拠を共有することによって特徴解釈と生成制御を結合するフレームワークである。
D-Scopeは、高活性化画像パッチのSigLIP2埋め込みを視覚中心体に集約する。
2つのモデルファミリーと5つのレイヤにまたがる150のSAEを特徴付け、100のターゲットコンセプトのベンチマークを導入する。
- 参考スコア（独自算出の注目度）: 34.01254708393466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse autoencoders (SAEs) reveal visual structure in diffusion transformers (DiTs), but interpreting a feature does not establish whether it can be used to control generation. We introduce D-Scope (Diffusion Scope), a framework that connects feature interpretation to generation control through shared visual evidence. D-Scope aggregates SigLIP~2 embeddings of highly activating image patches into visual centroids. Matching target text descriptions against these visual centroids in the shared image-text embedding space then enables retrieval of individual features without per-feature text annotations. The underlying patches provide evidence for inspecting each selection, while spatially masked interventions test the corresponding decoder direction at varying strengths under fixed generation conditions. We characterize 150 SAEs across two model families and five layers, and introduce a benchmark of 100 target concepts with ten contexts each spanning under-specified and explicit-conflict conditions. Our empirical results show that high reconstruction fidelity can coexist with low dictionary utilization and limited visual-evidence coverage. Under per-case best-of-sweep strength selection, contrastive retrieval yields larger mean regional SigLIP~2 gains than direct retrieval across the tested steering configurations, without consistently improving outside-region preservation. D-Scope provides an inspectable framework for evaluating sparse DiT features through their visual evidence and the effects of their decoder directions on generation. The demo is available at https://jiahaozhang-public.github.io/d-scope/.
- Abstract（参考訳）: スパースオートエンコーダ (SAEs) は拡散変換器 (DiTs) の視覚構造を明らかにするが、特徴を解釈することは、生成を制御できるかどうかを定めていない。
D-Scope(Diffusion Scope)は,視覚的証拠を共有することによって特徴解釈と生成制御を結合するフレームワークである。
D-Scopeは、高活性化画像パッチのSigLIP~2の埋め込みを視覚中心体に集約する。
画像-テキスト埋め込み空間におけるこれらの視覚的セントロイドとターゲットのテキスト記述をマッチングすると、機能ごとのテキストアノテーションなしで個々の特徴を検索できる。
基礎となるパッチは、それぞれの選択を検査する証拠を提供する一方で、空間的にマスクされた介入は、一定の生成条件下で、対応するデコーダ方向を様々な強度でテストする。
2つのモデルファミリーと5つのレイヤにまたがる150のSAEを特徴付け、それぞれ10のコンテキストを持つ100のターゲットコンセプトのベンチマークを導入する。
実験の結果, 高い再現性は, 辞書利用率の低さと, 視覚的エビデンス範囲の限定と共存できることがわかった。
ケースごとのベスト・オブ・スウィープ強度選択の下では、比較的検索は、テストされたステアリング構成を直接検索するよりも、平均的なSigLIP~2のゲインを得られるが、外域保存は一貫して改善しない。
D-Scopeは、視覚的エビデンスとデコーダの方向が生成に与える影響を通じて、スパースDiTの特徴を評価するための検査可能なフレームワークを提供する。
デモはhttps://jiahaozhang-public.github.io/d-scope/.comで公開されている。
関連論文リスト
- UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳（メタデータ） (2026-08-11T12:01:59Z) - GazeCLIP: Gaze-Guided CLIP with Adaptive-Enhanced Fine-Grained Language Prompt for Deepfake Attribution and Detection [80.12497948980378]
現在のディープフェイク属性やディープフェイク検出作業は、新しい生成方法への一般化が不十分である傾向にある。
適応型きめ細粒度言語プロンプトを用いた新しい視線誘導型CLIPを提案する。
拡散モデルや流れモデルのような新しい発電機上でのネットワークのDFAD性能を評価するために, 新規できめ細かなベンチマークを行う。
CLIPをベースとした視線認識モデルを導入し,顔偽造攻撃の一般化を図った。
論文 参考訳（メタデータ） (2026-03-31T05:59:59Z) - RefAlign: Representation Alignment for Reference-to-Video Generation [53.368296137314225]
RefAlignは、DiT参照ブランチ機能を視覚基礎モデルのセマンティック空間に整列する表現アライメントフレームワークである。
OpenS2V-Evalベンチマークの実験では、RefAlignがTotalScoreの最先端メソッドより優れていることが示されている。
論文 参考訳（メタデータ） (2026-03-26T17:59:57Z) - Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。
RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。
ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。
実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
論文 参考訳（メタデータ） (2026-03-13T15:16:27Z) - Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning [7.051314153203061]
既存のDense Video Captioning(DVC)の検索強化アプローチは、真のイベント境界に沿った正確な時間分割を達成できないことが多い。
提案フレームワークであるbfSTaRCは、ハイライト検出モジュールを通じてフレームレベルのサリエンシを監視することによって、この制限を克服する。
我々はYouCook2とViTTベンチマークで総合的な評価を行い、STaRCはほとんどのメトリクスで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-12T02:37:21Z) - Focal Guidance: Unlocking Controllability from Semantic-Weak Layers in Video Diffusion Models [41.59364061354628]
Image-to-Video(I2V)生成は、参照画像とテキストプロンプトからビデオを合成することを目的としている。
既存のI2Vモデルは視覚的一貫性を優先する。
この2つのガイダンスを効果的に組み合わせて、テキストプロンプトへの強い固執を確実にする方法は、まだ検討されていない。
論文 参考訳（メタデータ） (2026-01-12T07:48:26Z) - FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。
本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
論文 参考訳（メタデータ） (2025-06-20T07:46:40Z) - UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision
Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。
自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文 参考訳（メタデータ） (2022-10-23T15:24:47Z) - AFD-Net: Adaptive Fully-Dual Network for Few-Shot Object Detection [8.39479809973967]
Few-shot Object Detection (FSOD) は、未確認の物体に迅速に適応できる検出器の学習を目的としている。
既存の方法では、共有コンポーネントを用いて分類と局所化のサブタスクを実行することで、この問題を解決している。
本稿では,2つのサブタスクの明示的な分解を考慮し,両者の情報を活用して特徴表現の強化を図ることを提案する。
論文 参考訳（メタデータ） (2020-11-30T10:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。