論文の概要: Unpacking SDXL Turbo: Interpreting Text-to-Image Models with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2410.22366v1
• Date: Mon, 28 Oct 2024 19:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:09.844789
• Title: Unpacking SDXL Turbo: Interpreting Text-to-Image Models with Sparse Autoencoders
• Title（参考訳）: SDXLターボのアンパック:スパースオートエンコーダによるテキスト・トゥ・イメージモデルの解釈
• Authors: Viacheslav Surkov, Chris Wendler, Mikhail Terekhov, Justin Deschenaux, Robert West, Caglar Gulcehre,
• Abstract要約: SDXL TurboのデノイングU-net内の変圧器ブロックによって実行される更新に対してSAEを訓練する。 学習した特徴は解釈可能であり、生成プロセスに因果的に影響を与え、ブロック間の特殊化を明らかにする。 私たちの研究は、生成的テキスト・ツー・イメージモデルの内部をより深く理解するための重要な第一歩です。
• 参考スコア（独自算出の注目度）: 12.471396684507738
• License:
• Abstract: Sparse autoencoders (SAEs) have become a core ingredient in the reverse engineering of large-language models (LLMs). For LLMs, they have been shown to decompose intermediate representations that often are not interpretable directly into sparse sums of interpretable features, facilitating better control and subsequent analysis. However, similar analyses and approaches have been lacking for text-to-image models. We investigated the possibility of using SAEs to learn interpretable features for a few-step text-to-image diffusion models, such as SDXL Turbo. To this end, we train SAEs on the updates performed by transformer blocks within SDXL Turbo's denoising U-net. We find that their learned features are interpretable, causally influence the generation process, and reveal specialization among the blocks. In particular, we find one block that deals mainly with image composition, one that is mainly responsible for adding local details, and one for color, illumination, and style. Therefore, our work is an important first step towards better understanding the internals of generative text-to-image models like SDXL Turbo and showcases the potential of features learned by SAEs for the visual domain. Code is available at https://github.com/surkovv/sdxl-unbox
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)のリバースエンジニアリングにおいて中核となる要素となっている。 LLMでは、しばしば解釈可能な特徴のスパース和に直接解釈できない中間表現を分解し、より良い制御とその後の解析を容易にすることが示されている。 しかし、同様の分析やアプローチはテキスト・ツー・イメージ・モデルには欠けていた。 SDXL Turboのような数ステップのテキスト・画像拡散モデルにおいて,SAEを用いて解釈可能な特徴を学習する可能性を検討した。 この目的のために、SDXL TurboのデノイングU-net内の変圧器ブロックによって実行される更新に対してSAEを訓練する。 学習した特徴は解釈可能であり、生成プロセスに因果的に影響を与え、ブロック間の特殊化を明らかにする。 特に、主に画像合成を扱うブロックと、主に局所的な詳細を付加するブロックと、色、照明、スタイルのブロックがある。 したがって、SDXL Turboのような生成テキスト・画像モデルの内部をより深く理解するための重要な第一歩であり、視覚領域においてSAEが学習する機能の可能性を示す。 コードはhttps://github.com/surkovv/sdxl-unboxで入手できる。

関連論文リスト

• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
  モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。 この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。 Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:43:13Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• Compositional Text-to-Image Generation with Dense Blob Representations [48.1976291999674]
  既存のテキスト画像モデルは、複雑なテキストプロンプトに従うのに苦労する。 我々は,BlobGENと呼ばれるBlob-grounded text-to-image diffusion modelを合成生成のために開発する。 実験の結果,BlobGENは,MS-COCOにおけるゼロショット生成品質とレイアウト誘導制御性を向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-14T00:22:06Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
  VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。 本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
  論文  参考訳（メタデータ） (2023-03-03T18:59:47Z)
• Sketch-Guided Text-to-Image Diffusion Models [57.12095262189362]
  本稿では,事前訓練されたテキスト-画像拡散モデルを示す普遍的なアプローチを提案する。 本手法では,タスク専用のモデルや専用エンコーダをトレーニングする必要はない。 我々は、スケッチ・ツー・イメージの翻訳タスクに特に焦点をあて、画像を生成する堅牢で表現力のある方法を明らかにする。
  論文  参考訳（メタデータ） (2022-11-24T18:45:32Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• What the DAAM: Interpreting Stable Diffusion Using Cross Attention [39.97805685586423]
  大規模拡散ニューラルネットワークは、テキスト・画像生成において重要なマイルストーンである。 説明可能性の欠如と解釈可能性の分析は、主にプロプライエタリでクローズドソースな性質のため、理解に乏しいままである。 本稿では,潜伏するサブネットワークにおけるクロスアテンションアクティベーションのアップスケーリングと集約に基づく新しい手法であるDAAMを提案する。 DAAMは,61.0のmIoUを達成し,キャプション生成画像に対して強く作用し,オープン語彙セグメンテーションにおける教師付きモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。