論文の概要: SliderSpace: Decomposing the Visual Capabilities of Diffusion Models

• arxiv url: http://arxiv.org/abs/2502.01639v1
• Date: Mon, 03 Feb 2025 18:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:02.409606
• Title: SliderSpace: Decomposing the Visual Capabilities of Diffusion Models
• Title（参考訳）: SliderSpace: 拡散モデルの視覚能力を分解する
• Authors: Rohit Gandikota, Zongze Wu, Richard Zhang, David Bau, Eli Shechtman, Nick Kolkin,
• Abstract要約: SliderSpaceは拡散モデルの視覚的能力を自動分解するフレームワークである。 単一のテキストプロンプトから複数の解釈可能かつ多様な方向を同時に検出する。 本手法は,ベースラインに比べて多様性があり,有用である。
• 参考スコア（独自算出の注目度）: 50.82362500995365
• License:
• Abstract: We present SliderSpace, a framework for automatically decomposing the visual capabilities of diffusion models into controllable and human-understandable directions. Unlike existing control methods that require a user to specify attributes for each edit direction individually, SliderSpace discovers multiple interpretable and diverse directions simultaneously from a single text prompt. Each direction is trained as a low-rank adaptor, enabling compositional control and the discovery of surprising possibilities in the model's latent space. Through extensive experiments on state-of-the-art diffusion models, we demonstrate SliderSpace's effectiveness across three applications: concept decomposition, artistic style exploration, and diversity enhancement. Our quantitative evaluation shows that SliderSpace-discovered directions decompose the visual structure of model's knowledge effectively, offering insights into the latent capabilities encoded within diffusion models. User studies further validate that our method produces more diverse and useful variations compared to baselines. Our code, data and trained weights are available at https://sliderspace.baulab.info
• Abstract（参考訳）: SliderSpaceは,拡散モデルの視覚的能力を制御可能かつ人間の理解可能な方向に自動的に分解するフレームワークである。 ユーザーがそれぞれの編集方向の属性を個別に指定する必要がある既存の制御方法とは異なり、SliderSpaceは単一のテキストプロンプトから複数の解釈可能かつ多様な方向を同時に検出する。 各方向は低ランク適応器として訓練され、構成制御とモデルの潜在空間における驚くべき可能性の発見を可能にする。 最先端拡散モデルに関する広範な実験を通じて,SliderSpaceの有効性を,概念分解,芸術的スタイル探索,多様性向上の3つのアプリケーションで実証した。 定量的評価により,SliderSpaceで発見された方向はモデル知識の視覚的構造を効果的に分解し,拡散モデルに符号化された潜在能力についての洞察を提供する。 ユーザスタディは,本手法がベースラインよりも多様で有用であることを示す。 私たちのコード、データ、トレーニングされた重み付けはhttps://sliderspace.baulab.infoで利用可能です。

関連論文リスト

• Exploring the latent space of diffusion models directly through singular value decomposition [31.900933527692846]
  拡散モデルにおけるテキストプロンプトによって決定される1組の潜在符号から任意の属性を学習できる新しい画像編集フレームワークを提案する。 この分野のさらなる研究と応用を促進するため、まもなくコードをリリースします。
  論文  参考訳（メタデータ） (2025-02-04T11:04:36Z)
• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• Generalizable Implicit Neural Representation As a Universal Spatiotemporal Traffic Data Learner [46.866240648471894]
  時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。 本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。 実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
  論文  参考訳（メタデータ） (2024-06-13T02:03:22Z)
• Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models [52.894213114914805]
  拡散モデルから画像生成における属性を正確に制御できる解釈可能な概念スライダを作成する手法を提案する。 スライダは、プロンプトやサンプル画像の小さなセットを使用して作成される。 本手法は、物体の変形の修復や変形した手の固定など、安定XL拡散における持続的品質問題に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-11-20T18:59:01Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
  本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。 提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2022-12-02T21:39:26Z)
• Fantastic Style Channels and Where to Find Them: A Submodular Framework for Discovering Diverse Directions in GANs [0.0]
  StyleGAN2は、リッチでゆがみのある潜在空間のために、様々な画像生成および操作タスクを可能にした。 そこで我々は,StyleGAN2の潜在空間において,最も代表的で多様な方向のサブセットを見つけるための,新しいサブモジュラー・フレームワークを設計する。 本フレームワークは,クラスタの概念を用いて多様性を促進し,グリーディ最適化方式で効率的に解ける。
  論文  参考訳（メタデータ） (2022-03-16T10:35:41Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces [6.574517227976925]
  IntroVACは、追加ラベルから情報を活用することで、解釈可能な潜在部分空間を学習する。 IntroVACは、画像属性の微調整を可能にする潜在空間における意味のある方向を学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-03T10:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。