論文の概要: FluxSpace: Disentangled Semantic Editing in Rectified Flow Transformers

• arxiv url: http://arxiv.org/abs/2412.09611v1
• Date: Thu, 12 Dec 2024 18:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:08.438288
• Title: FluxSpace: Disentangled Semantic Editing in Rectified Flow Transformers
• Title（参考訳）: FluxSpace: 正規化フロー変換器におけるアンタングル付きセマンティック編集
• Authors: Yusuf Dalva, Kavana Venkatesh, Pinar Yanardag,
• Abstract要約: 本稿では,整流トランスによって生成された画像の意味を制御できる領域に依存しない画像編集手法であるFluxSpaceを紹介する。 修正フローモデル内の変圧器ブロックで学習した表現を活用することで,幅広い画像編集作業を可能にする意味論的解釈可能な表現セットを提案する。
• 参考スコア（独自算出の注目度）: 4.710921988115686
• License:
• Abstract: Rectified flow models have emerged as a dominant approach in image generation, showcasing impressive capabilities in high-quality image synthesis. However, despite their effectiveness in visual generation, rectified flow models often struggle with disentangled editing of images. This limitation prevents the ability to perform precise, attribute-specific modifications without affecting unrelated aspects of the image. In this paper, we introduce FluxSpace, a domain-agnostic image editing method leveraging a representation space with the ability to control the semantics of images generated by rectified flow transformers, such as Flux. By leveraging the representations learned by the transformer blocks within the rectified flow models, we propose a set of semantically interpretable representations that enable a wide range of image editing tasks, from fine-grained image editing to artistic creation. This work offers a scalable and effective image editing approach, along with its disentanglement capabilities.
• Abstract（参考訳）: 定形化フローモデルは画像生成において支配的なアプローチとして現れており、高品質な画像合成における印象的な能力を示している。 しかし、視覚生成に効果があるにもかかわらず、補正フローモデルは画像のアンタングル編集に苦慮することが多い。 この制限により、画像の無関係な側面に影響を与えることなく、正確に属性固有の修正を行うことができない。 本稿では,Fluxのような整流変換器によって生成された画像のセマンティクスを制御可能な表現空間を活用する,ドメインに依存しない画像編集手法であるFluxSpaceを紹介する。 修正フローモデル内の変圧器ブロックで学習した表現を活用することで,微細な画像編集から芸術的創造に至るまで,幅広い画像編集作業を可能にする意味論的解釈可能な表現セットを提案する。 この作業は、スケーラブルで効果的な画像編集アプローチと、その切り離し機能を提供する。

関連論文リスト

• Unveil Inversion and Invariance in Flow Transformer for Versatile Image Editing [43.97960454977206]
  本稿では,フロートランスを用いた拡散インバージョンと分散制御について解析する。 本稿では,まず速度推定を洗練し,残り誤差を補償する2段階逆転法を提案する。 この機構は、剛性および非剛性操作を許容しながら、非ターゲット内容の同時保存を可能にする。
  論文  参考訳（メタデータ） (2024-11-24T13:48:16Z)
• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Streamlining Image Editing with Layered Diffusion Brushes [8.738398948669609]
  我々のシステムは、ハイエンドの消費者向けGPUを使用して、140ミリ秒以内の512x512画像に1回の編集を行う。 提案手法は,オブジェクト属性の調整,エラー訂正,逐次的なプロンプトベースのオブジェクト配置と操作など,さまざまなタスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-05-01T04:30:03Z)
• Editable Image Elements for Controllable Synthesis [79.58148778509769]
  拡散モデルを用いて入力画像の空間的編集を促進する画像表現を提案する。 オブジェクトのリサイズ,再配置,ドラッグング,デオクルージョン,除去,変動,画像合成など,画像編集作業における表現の有効性を示す。
  論文  参考訳（メタデータ） (2024-04-24T17:59:11Z)
• Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators [19.853978560075305]
  モーションガイダンス(Motion Guide)は、画像の各ピクセルがどこに移動すべきかを示す、密度の高い複雑なモーションフィールドを指定できる技術である。 本手法は複雑な動きに作用し、実画像や生成された画像の高品質な編集を可能にする。
  論文  参考訳（メタデータ） (2024-01-31T18:59:59Z)
• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• The Stable Artist: Steering Semantics in Diffusion Latent Space [17.119616029527744]
  本稿では,画像生成プロセスのきめ細かい制御を可能にする画像編集手法であるStable Artistを提案する。 主要なコンポーネントはセマンティックガイダンス(SEGA)であり、セマンティックな方向の変数数に沿って拡散過程を制御している。 SEGAは、モデルによって学習された概念の表現に関する洞察を得るために、潜在空間の探索を可能にする。
  論文  参考訳（メタデータ） (2022-12-12T16:21:24Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation [136.53288628437355]
  コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。 現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。 本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T21:38:36Z)
• Look here! A parametric learning based approach to redirect visual attention [49.609412873346386]
  画像領域を微妙な画像編集によってより注目度の高いものにするための自動手法を提案する。 我々のモデルは、前景および背景画像領域に適用可能な、異なるグローバルパラメトリック変換セットを予測する。 編集により、任意の画像サイズでインタラクティブなレートでの推論が可能になり、簡単に動画に一般化できる。
  論文  参考訳（メタデータ） (2020-08-12T16:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。