論文の概要: Unsupervised Semantic Correspondence Using Stable Diffusion

• arxiv url: http://arxiv.org/abs/2305.15581v1
• Date: Wed, 24 May 2023 21:34:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:30:52.456886
• Title: Unsupervised Semantic Correspondence Using Stable Diffusion
• Title（参考訳）: 安定拡散を用いた教師なし意味対応
• Authors: Eric Hedlin, Gopal Sharma, Shweta Mahajan, Hossam Isack, Abhishek Kar, Andrea Tagliasacchi, Kwang Moo Yi
• Abstract要約: 我々は,この意味的知識を拡散モデル内で活用し,意味的対応を見いだせることを示す。 我々はこれらのモデルの迅速な埋め込みを最適化し、関心のある領域に最大限の注意を払う。 我々は、PF-Willow、CUB-200、SPair-71kデータセットにおいて、既存の弱い、または教師なしの手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 27.355330079806027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image diffusion models are now capable of generating images that are often indistinguishable from real images. To generate such images, these models must understand the semantics of the objects they are asked to generate. In this work we show that, without any training, one can leverage this semantic knowledge within diffusion models to find semantic correspondences -- locations in multiple images that have the same semantic meaning. Specifically, given an image, we optimize the prompt embeddings of these models for maximum attention on the regions of interest. These optimized embeddings capture semantic information about the location, which can then be transferred to another image. By doing so we obtain results on par with the strongly supervised state of the art on the PF-Willow dataset and significantly outperform (20.9% relative for the SPair-71k dataset) any existing weakly or unsupervised method on PF-Willow, CUB-200 and SPair-71k datasets.
• Abstract（参考訳）: テキスト間拡散モデルは、しばしば実際の画像と区別できない画像を生成することができる。 このようなイメージを生成するには、これらのモデルが生成するオブジェクトのセマンティクスを理解する必要がある。 この研究では、トレーニングなしでは、拡散モデル内でこの意味的知識を活用して、同じ意味的意味を持つ複数の画像における意味的対応を見つけることができることを示します。 具体的には、画像が与えられた場合、これらのモデルの迅速な埋め込みを最適化し、関心のある領域に最大限の注意を払う。 これらの最適化された埋め込みは、位置に関するセマンティック情報をキャプチャし、別の画像に転送することができる。 これにより、PF-Willowデータセット上のアートの強い監督状態と同等の結果を得ることができ、PF-Willowデータセット、CUB-200およびSPair-71kデータセット上の既存の弱いまたは教師なしの手法において、かなり優れ(SPair-71kデータセットに対して20.9%)。

関連論文リスト

• Few-shot Semantic Image Synthesis with Class Affinity Transfer [23.471210664024067]
  そこで本研究では,大規模なデータセット上でトレーニングされたモデルを利用して,小規模なターゲットデータセット上での学習能力を向上させるトランスファー手法を提案する。 クラス親和性行列は、ターゲットラベルマップと互換性を持たせるために、ソースモデルの第一層として導入される。 セマンティック・セマンティック・シンセサイザー(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アーキテクチャー)にアプローチを適用する。
  論文  参考訳（メタデータ） (2023-04-05T09:24:45Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• What the DAAM: Interpreting Stable Diffusion Using Cross Attention [39.97805685586423]
  大規模拡散ニューラルネットワークは、テキスト・画像生成において重要なマイルストーンである。 説明可能性の欠如と解釈可能性の分析は、主にプロプライエタリでクローズドソースな性質のため、理解に乏しいままである。 本稿では,潜伏するサブネットワークにおけるクロスアテンションアクティベーションのアップスケーリングと集約に基づく新しい手法であるDAAMを提案する。 DAAMは,61.0のmIoUを達成し,キャプション生成画像に対して強く作用し,オープン語彙セグメンテーションにおける教師付きモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:55:41Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion [51.11295961195151]
  運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。 局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。 本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
  論文  参考訳（メタデータ） (2022-06-10T05:16:50Z)
• Compositional Visual Generation with Composable Diffusion Models [80.75258849913574]
  拡散モデルを用いた構成生成のための代替的な構造的アプローチを提案する。 画像は拡散モデルの集合を構成することで生成され、それぞれが画像の特定のコンポーネントをモデル化する。 提案手法は, トレーニングで見られるものよりもはるかに複雑なシーンを, テスト時に生成することができる。
  論文  参考訳（メタデータ） (2022-06-03T17:47:04Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Texture image classification based on a pseudo-parabolic diffusion model [0.0]
  提案手法は、確立されたベンチマークテクスチャデータベースの分類と、植物種認識の実践的な課題について検証する。 画像の同種領域内では、擬似放物的演算子が、うる限りノイズの多い詳細を滑らかにすることができることで、優れた性能を大いに正当化することができる。
  論文  参考訳（メタデータ） (2020-11-14T00:04:07Z)
• Generating Annotated High-Fidelity Images Containing Multiple Coherent Objects [10.783993190686132]
  コンテキスト情報を明示的に必要とせずに、複数のオブジェクトで画像を合成できるマルチオブジェクト生成フレームワークを提案する。 我々は,Multi-MNISTおよびCLEVRデータセットを用いた実験により,コヒーレンシーと忠実さの保存方法を示す。
  論文  参考訳（メタデータ） (2020-06-22T11:33:55Z)
• Enhanced Residual Networks for Context-based Image Outpainting [0.0]
  深いモデルは、保持された情報を通してコンテキストや外挿を理解するのに苦労する。 現在のモデルでは、生成的敵ネットワークを使用して、局所的な画像特徴の整合性が欠如し、偽のように見える結果を生成する。 本稿では,局所的・大域的判別器の使用と,ネットワークの符号化部における残差ブロックの追加という,この問題を改善するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-05-14T05:14:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。