論文の概要: MagicMix: Semantic Mixing with Diffusion Models

• arxiv url: http://arxiv.org/abs/2210.16056v1
• Date: Fri, 28 Oct 2022 11:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:23:44.715424
• Title: MagicMix: Semantic Mixing with Diffusion Models
• Title（参考訳）: MagicMix: 拡散モデルとのセマンティックミキシング
• Authors: Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng
• Abstract要約: セマンティック・ミキシングと呼ばれる2つの異なるセマンティクスをブレンドして新しい概念を創出することを目的とした新しいタスクについて検討する。 我々は、事前訓練されたテキスト条件拡散モデルに基づく解であるMagicMixを提案する。 本手法では,空間マスクや再訓練は必要とせず,新しい物体を高忠実に合成することができる。
• 参考スコア（独自算出の注目度）: 85.43291162563652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Have you ever imagined what a corgi-alike coffee machine or a tiger-alike rabbit would look like? In this work, we attempt to answer these questions by exploring a new task called semantic mixing, aiming at blending two different semantics to create a new concept (e.g., corgi + coffee machine -- > corgi-alike coffee machine). Unlike style transfer, where an image is stylized according to the reference style without changing the image content, semantic blending mixes two different concepts in a semantic manner to synthesize a novel concept while preserving the spatial layout and geometry. To this end, we present MagicMix, a simple yet effective solution based on pre-trained text-conditioned diffusion models. Motivated by the progressive generation property of diffusion models where layout/shape emerges at early denoising steps while semantically meaningful details appear at later steps during the denoising process, our method first obtains a coarse layout (either by corrupting an image or denoising from a pure Gaussian noise given a text prompt), followed by injection of conditional prompt for semantic mixing. Our method does not require any spatial mask or re-training, yet is able to synthesize novel objects with high fidelity. To improve the mixing quality, we further devise two simple strategies to provide better control and flexibility over the synthesized content. With our method, we present our results over diverse downstream applications, including semantic style transfer, novel object synthesis, breed mixing, and concept removal, demonstrating the flexibility of our method. More results can be found on the project page https://magicmix.github.io
• Abstract（参考訳）: コーギーのようなコーヒーマシンやトラのようなウサギの姿を想像したことがありますか? 本研究では,2つの異なる意味をブレンドして新しい概念(例えば,corgi + coffee machine -- > corgi-alike coffee machine)を構築することを目的とした,セマンティック・ミキシング(semantic mixed)と呼ばれる新しいタスクを探求することで,これらの質問に答える。 画像内容を変えずに参照スタイルに従って画像がスタイル化されるスタイル転送とは異なり、セマンティックブレンドは2つの異なる概念を意味的に混合し、空間レイアウトと幾何学を保ちながら新しい概念を合成する。 そこで本研究では,事前学習したテキスト条件拡散モデルに基づく,シンプルで効果的な解であるMagicMixを提案する。 そこで本手法は,まず,まず粗いレイアウト(画像の劣化や,テキストのプロンプトが与えられた純粋ガウス雑音からのデノイング)を取得し,続いて条件付きプロンプトを注入して意味混合を行う。 本手法では,空間マスクや再訓練は必要としないが,高い忠実度で新しい物体を合成できる。 混合品質を向上させるため,合成コンテンツに対する制御と柔軟性を向上させるための2つの簡単な戦略を考案した。 本手法では,本手法の柔軟性を実証し,セマンティック・スタイル・トランスファー,新規オブジェクト合成,品種混合,概念除去など,さまざまなダウンストリーム・アプリケーションに対する結果を示す。 さらなる結果はプロジェクトページhttps://magicmix.github.ioにある。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• DiffuseMix: Label-Preserving Data Augmentation with Diffusion Models [18.44432223381586]
  近年、ディープニューラルネットワークの一般化を改善するために、画像混合に基づく拡張技術が数多く導入されている。 これらの手法では、2つ以上のランダムに選択された自然画像が混合され、拡張画像を生成する。 DiffuseMixを提案する。DiffuseMixは、拡散モデルを利用してトレーニング画像を再構成する新しいデータ拡張手法である。
  論文  参考訳（メタデータ） (2024-04-05T05:31:02Z)
• SpliceMix: A Cross-scale and Semantic Blending Augmentation Strategy for Multi-label Image Classification [46.8141860303439]
  マルチラベル画像分類,すなわちSpliceMixの簡易かつ効果的な拡張戦略を提案する。 本手法の「スプライス」は,1) 混合画像は, 混合に係わる画像のセマンティクスを, 共起バイアスを緩和するためのオブジェクト欠陥を伴わずにブレンドするグリッドの形で, 縮小された画像のスプライスであり, 2) 混合画像と元のミニバッチをスプリスして, 異なるスケールの画像を同時にトレーニングに寄与するSpliceMixed mini-batchを形成する。
  論文  参考訳（メタデータ） (2023-11-26T05:45:27Z)
• Painterly Image Harmonization using Diffusion Model [17.732783922599857]
  絵画調和安定拡散モデル(PHDiffusion)を提案する。 軽量適応エンコーダとデュアルフュージョン(DEF)モジュールを備える。 具体的には、適応エンコーダとDEFモジュールは、まず各エンコーダ内の前景機能をスタイリングする。 そして、両エンコーダのスタイリングされた前景特徴を組み合わせて調和過程を導出する。
  論文  参考訳（メタデータ） (2023-08-04T09:51:57Z)
• DiffuMask: Synthesizing Images with Pixel-level Annotations for Semantic Segmentation Using Diffusion Models [68.21154597227165]
  本研究では,オフザシェルフ安定拡散モデルにより生成された合成画像の正確なセマンティックマスクを自動で取得できることを示す。 我々のアプローチはDiffuMaskと呼ばれ、テキストと画像間の相互注意マップの可能性を利用しています。
  論文  参考訳（メタデータ） (2023-03-21T08:43:15Z)
• SMMix: Self-Motivated Image Mixing for Vision Transformers [65.809376136455]
  CutMixは視覚変換器(ViT)の性能と一般化能力を決定する重要な拡張戦略である 既存のCutMixの変種は、より一貫性のある混合画像やより正確な混合ラベルを生成することでこの問題に対処している。 本稿では,学習モデルによる画像とラベルの強調を動機づける,効率的かつ効果的な自己運動画像混合法を提案する。
  論文  参考訳（メタデータ） (2022-12-26T00:19:39Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data [124.95585891086894]
  提案はSemantically Proportional Mixing(SnapMix)と呼ばれる クラスアクティベーションマップ(CAM)を利用して、きめ細かいデータを強化する際にラベルノイズを低減します。 本手法は既存の混合型アプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-12-09T03:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。