論文の概要: The Hidden Language of Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.00966v2
- Date: Tue, 6 Jun 2023 13:16:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 19:19:00.862409
- Title: The Hidden Language of Diffusion Models
- Title（参考訳）: 拡散モデルの隠れ言語
- Authors: Hila Chefer, Oran Lang, Mor Geva, Volodymyr Polosukhin, Assaf Shocher,
Michal Irani, Inbar Mosseri, Lior Wolf
- Abstract要約: 我々は、入力テキストプロンプトを小さな解釈可能な要素の集合に分解することで、テキストから画像モデルへの概念表現の理解に挑戦する。
これは、モデルの語彙からトークンのまばらな重み付けの組み合わせである擬似トークンを学ぶことで達成される。
この分解は、概念の表現における非自明で驚くべき構造を明らかにする。
- 参考スコア（独自算出の注目度）: 68.38446885933965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image diffusion models have demonstrated an unparalleled ability to
generate high-quality, diverse images from a textual concept (e.g., "a doctor",
"love"). However, the internal process of mapping text to a rich visual
representation remains an enigma. In this work, we tackle the challenge of
understanding concept representations in text-to-image models by decomposing an
input text prompt into a small set of interpretable elements. This is achieved
by learning a pseudo-token that is a sparse weighted combination of tokens from
the model's vocabulary, with the objective of reconstructing the images
generated for the given concept. Applied over the state-of-the-art Stable
Diffusion model, this decomposition reveals non-trivial and surprising
structures in the representations of concepts. For example, we find that some
concepts such as "a president" or "a composer" are dominated by specific
instances (e.g., "Obama", "Biden") and their interpolations. Other concepts,
such as "happiness" combine associated terms that can be concrete ("family",
"laughter") or abstract ("friendship", "emotion"). In addition to peering into
the inner workings of Stable Diffusion, our method also enables applications
such as single-image decomposition to tokens, bias detection and mitigation,
and semantic image manipulation. Our code will be available at:
https://hila-chefer.github.io/Conceptor/
- Abstract（参考訳）: テキストから画像への拡散モデルは、テキストの概念(例えば「医者」や「愛」)から高品質で多様な画像を生成できる非並列的な能力を示している。
しかし、テキストをリッチな視覚表現にマッピングする内部プロセスは謎のままである。
本研究では、入力テキストプロンプトを小さな解釈可能な要素の集合に分解することで、テキストから画像モデルへの概念表現の理解に挑戦する。
これは、与えられた概念のために生成されたイメージを再構築する目的で、モデルの語彙からトークンを疎みに重み付けした擬似トークンを学ぶことで達成される。
最先端の安定拡散モデルに適用されるこの分解は、概念の表現における非自明で驚くべき構造を明らかにする。
例えば、「大統領」や「作曲家」といった概念は特定の例(例えば「オバマ」、「バイデン」など)とそれらの補間によって支配されている。
その他の概念、例えば「幸せ」は、具体的(家族)、笑い(笑い)、抽象的(友情(友情)、感情(感情)といった関連用語を組み合わせる。
安定拡散法の内部動作をピアリングすることに加えて,トークンへの単一像分解,バイアス検出と緩和,セマンティックイメージ操作などの応用も可能とした。
コードはhttps://hila-chefer.github.io/conceptor/。
関連論文リスト
- OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。
我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。
提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
論文 参考訳（メタデータ） (2024-12-16T18:59:52Z) - Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか?
ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。
さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
論文 参考訳（メタデータ） (2024-10-31T17:09:55Z) - How to Blend Concepts in Diffusion Models [48.68800153838679]
近年の手法は複数の潜在表現とその関連性を利用しており、この研究はさらに絡み合っている。
我々のゴールは、潜在空間における操作が根底にある概念にどのように影響するかを理解することです。
我々の結論は、宇宙操作によるブレンドの概念は可能であるが、最良の戦略はブレンドの文脈に依存する。
論文 参考訳（メタデータ） (2024-07-19T13:05:57Z) - Lego: Learning to Disentangle and Invert Personalized Concepts Beyond Object Appearance in Text-to-Image Diffusion Models [60.80960965051388]
形容詞と動詞は名詞で絡み合っている(目的語)
レゴは、シンプルだが効果的な対象分離ステップを使用して、関連する主題から概念を分離する。
レゴで作られたコンセプトは、ベースラインと比較して70%以上好まれていた。
論文 参考訳（メタデータ） (2023-11-23T07:33:38Z) - FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic
descriptions, and Conceptual Relations [99.54048050189971]
自然に発生する複数のデータストリームによってガイドされる新しい視覚概念を素早く学習するフレームワークを提案する。
学習された概念は、未知の画像について推論することで質問に答えるなど、下流のアプリケーションをサポートする。
合成と実世界の両方のデータセットにおけるモデルの有効性を実証する。
論文 参考訳（メタデータ） (2022-03-30T19:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。