論文の概要: Appearance Matching Adapter for Exemplar-based Semantic Image Synthesis in-the-Wild

• arxiv url: http://arxiv.org/abs/2412.03150v2
• Date: Tue, 18 Mar 2025 07:31:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 16:29:10.648983
• Title: Appearance Matching Adapter for Exemplar-based Semantic Image Synthesis in-the-Wild
• Title（参考訳）: 先進的セマンティック画像合成のための出現整合適応器
• Authors: Siyoon Jin, Jisu Nam, Jiyoung Kim, Dahyun Chung, Yeong-Seok Kim, Joonhyung Park, Heonjeong Chu, Seungryong Kim,
• Abstract要約: 例題ベースセマンティック画像合成は、例題の外観を保ちながら意味内容と整合した画像を生成する。 最近のチューニングフリーアプローチでは、暗黙のクロスイメージマッチングを通じて局所的な外観を転送することでこの問題に対処している。 そこで本稿では,AM-Adapterを用いて,先進的なセマンティック画像合成手法を提案する。
• 参考スコア（独自算出の注目度）: 29.23745176017559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exemplar-based semantic image synthesis generates images aligned with semantic content while preserving the appearance of an exemplar. Conventional structure-guidance models like ControlNet, are limited as they rely solely on text prompts to control appearance and cannot utilize exemplar images as input. Recent tuning-free approaches address this by transferring local appearance via implicit cross-image matching in the augmented self-attention mechanism of pre-trained diffusion models. However, prior works are often restricted to single-object cases or foreground object appearance transfer, struggling with complex scenes involving multiple objects. To overcome this, we propose AM-Adapter (Appearance Matching Adapter) to address exemplar-based semantic image synthesis in-the-wild, enabling multi-object appearance transfer from a single scene-level image. AM-Adapter automatically transfers local appearances from the scene-level input. AM-Adapter alternatively provides controllability to map user-defined object details to specific locations in the synthesized images. Our learnable framework enhances cross-image matching within augmented self-attention by integrating semantic information from segmentation maps. To disentangle generation and matching, we adopt stage-wise training. We first train the structure-guidance and generation networks, followed by training the matching adapter while keeping the others frozen. During inference, we introduce an automated exemplar retrieval method for selecting exemplar image-segmentation pairs efficiently. Despite utilizing minimal learnable parameters, AM-Adapter achieves state-of-the-art performance, excelling in both semantic alignment and local appearance fidelity. Extensive ablations validate our design choices. Code and weights will be released.: https://cvlab-kaist.github.io/AM-Adapter/
• Abstract（参考訳）: 例題ベースセマンティック画像合成は、例題の外観を保ちながら意味内容と整合した画像を生成する。 ControlNetのような従来の構造誘導モデルは、外観を制御するためのテキストプロンプトのみに依存しており、入力として典型的なイメージを利用できないため、制限されている。 最近のチューニングフリーアプローチでは、事前学習拡散モデルの自己アテンション強化機構において、暗黙のクロスイメージマッチングを介して局所的な外観を伝達することでこの問題に対処している。 しかしながら、先行の作品は、複数のオブジェクトを含む複雑なシーンに苦しむ、単一のオブジェクトケースや前景のオブジェクトの外観転送に制限されることが多い。 そこで本研究では,一シーンレベルの画像から複数オブジェクトの外観を移譲できるAM-Adapter (Appearance Matching Adapter)を提案する。 AM-Adapterは、シーンレベルの入力からローカルな外観を自動的に転送する。 代わりにAM-Adapterは、ユーザーが定義したオブジェクトの詳細を合成画像内の特定の場所にマッピングする制御性を提供する。 学習可能なフレームワークは,セグメンテーションマップからのセグメンテーション情報を統合することにより,拡張自己注意内のクロスイメージマッチングを強化する。 生成とマッチングを阻害するために、ステージワイドトレーニングを採用します。 まず、構造誘導と生成ネットワークをトレーニングし、その後、他のものを凍結させながら、マッチングアダプタをトレーニングする。 推論中,画像分割ペアを効率よく選択する自動例検索手法を提案する。 最小限の学習可能なパラメータを利用するにもかかわらず、AM-Adapterは最先端のパフォーマンスを達成し、セマンティックアライメントと局所的な外観の忠実さの両方に優れる。 大規模な改善は、私たちの設計選択を検証します。 コードと重みはリリースされます。 https://cvlab-kaist.github.io/AM-Adapter/

関連論文リスト

• UNIC-Adapter: Unified Image-instruction Adapter with Multi-modal Transformer for Image Generation [64.8341372591993]
  一つのフレームワーク内で制御可能な生成を統一するための新しいアプローチを提案する。 具体的には,Multi-Modal-Diffusion Transformerアーキテクチャ上に構築された統合イメージインストラクションアダプタ(UNIC-Adapter)を提案する。 UNIC-Adapterは条件付き画像とタスク命令の両方を組み込んだマルチモーダル命令情報を効果的に抽出する。
  論文  参考訳（メタデータ） (2024-12-25T15:19:02Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• Deep Semantic-Visual Alignment for Zero-Shot Remote Sensing Image Scene Classification [26.340737217001497]
  ゼロショット学習(ZSL)は、トレーニング中に見えない新しいクラスを識別する。 以前のZSLモデルは、主に言語モデルから抽出された手作業でラベル付けされた属性や単語の埋め込みに依存し、見受けられるクラスから新しいクラスに知識を伝達する。 本稿では,視覚的に検出可能な属性を自動的に収集することを提案する。属性と画像のセマンティック・視覚的類似性を記述することで,クラスごとの属性を予測する。
  論文  参考訳（メタデータ） (2024-02-03T09:18:49Z)
• A Transformer-Based Adaptive Semantic Aggregation Method for UAV Visual Geo-Localization [2.1462492411694756]
  本稿では,無人航空機(UAV)の視覚的ジオローカライゼーションの課題について述べる。 部分レベルの表現は、画像の詳細をキャプチャし、シーンの意味情報を理解するのに役立つため、UAVの視覚的ジオローカライゼーションには、パートマッチングが不可欠である。 画像中の最も代表的な意味論として部品を考慮に入れた変換器に基づく適応的意味的アグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-01-03T06:58:52Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Disentangling Structure and Appearance in ViT Feature Space [26.233355454282446]
  本稿では,ある自然画像の視覚的外観を別の自然画像に意味的に伝達する手法を提案する。 具体的には、ソース構造画像中のオブジェクトを、ターゲットの外観画像中のそれらの意味的関連オブジェクトの視覚的外観で“ペイント”する画像を生成する。 本研究では,特定の領域から画像のデータセットに基づいて学習したフィードフォワードリアルタイムな外見伝達モデルであるSpliceNetと,一対の構造化画像に対してジェネレータをトレーニングすることで機能するセマンティックな外見伝達の2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-20T21:20:15Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation [16.863038973001483]
  本研究は拡散合成セマンティックセマンティックセグメンテーショントレーニングの3つの手法を紹介する。 第一に、信頼性に配慮した堅牢なトレーニングは、もともと弱い教師付き学習で用いられ、合成マスクの品質が不十分なセグメンテーションに役立つ。 第2に、画像Net-1kクラスの画像にバックボーンだけでなく、全体セグメンテーションモデルの大規模事前トレーニングを行うことで、下流のセグメンテーションタスクにメリットがある。 第3に,テキストリソースの制限により,トレーニング画像のスケールアップと多様化を図るために,プロンプトテキストセットにプロンプト拡張,データ拡張を導入する。
  論文  参考訳（メタデータ） (2023-09-04T05:34:19Z)
• Dense Text-to-Image Generation with Attention Modulation [49.287458275920514]
  既存のテキストと画像の拡散モデルは、高密度キャプションを与えられた現実的なイメージを合成するのに苦労する。 そこで我々はDenseDiffusionを提案する。DenseDiffusionは、訓練済みのテキスト・ツー・イメージ・モデルを用いて、そのような高密度キャプションを扱う訓練自由な方法である。 レイアウト条件に特化して訓練したモデルを用いて、同様の品質の視覚的結果を得る。
  論文  参考訳（メタデータ） (2023-08-24T17:59:01Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Masked and Adaptive Transformer for Exemplar Based Image Translation [16.93344592811513]
  ドメイン間のセマンティックマッチングは難しい。 正確なクロスドメイン対応を学習するためのマスク付き適応変換器(MAT)を提案する。 品質識別型スタイル表現を得るための新しいコントラスト型スタイル学習法を考案する。
  論文  参考訳（メタデータ） (2023-03-30T03:21:14Z)
• Correlational Image Modeling for Self-Supervised Visual Pre-Training [81.82907503764775]
  相関画像モデリング(Relational Image Modeling)は、自己監督型視覚前訓練における、新しくて驚くほど効果的なアプローチである。 3つの重要な設計は、相関画像モデリングを非自明で有意義な自己監督タスクとして実現している。
  論文  参考訳（メタデータ） (2023-03-22T15:48:23Z)
• Situational Perception Guided Image Matting [16.1897179939677]
  本研究では,マットアノテーションの主観バイアスを緩和する状況認識ガイド画像マッチング(SPG-IM)手法を提案する。 SPG-IMは、オブジェクト間およびオブジェクト間サリエンシをよりよく関連付けることができ、画像マッチングの主観的性質を補うことができる。
  論文  参考訳（メタデータ） (2022-04-20T07:35:51Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• CLIP-Adapter: Better Vision-Language Models with Feature Adapters [84.88106370842883]
  即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。 CLIP-Adapterは新たなボトルネックレイヤを採用して、新機能を学び、残留スタイルの機能ブレンディングを実行する。 様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-09T11:39:30Z)
• Image Shape Manipulation from a Single Augmented Training Sample [26.342929563689218]
  DeepSIMは、単一の画像に基づく条件付き画像操作のための生成モデルである。 我々のネットワークは、画像のプリミティブ表現と画像自体とのマッピングを学習する。
  論文  参考訳（メタデータ） (2021-09-13T17:44:04Z)
• ADeLA: Automatic Dense Labeling with Attention for Viewpoint Adaptation in Semantic Segmentation [27.69348820877977]
  本稿では,意味的セグメンテーションタスクに対する視点変化による画像コンテンツシフトに対する教師なし領域適応手法について述べる。 本手法は2つの領域間の画像の統計を調整せずに機能する。 色画像のみに基づいてトレーニングされたビュー変換ネットワークを使用して、ターゲットのセマンティックイメージを幻覚させる。
  論文  参考訳（メタデータ） (2021-07-29T19:10:18Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Image Shape Manipulation from a Single Augmented Training Sample [24.373900721120286]
  DeepSIMは、単一の画像に基づく条件付き画像操作のための生成モデルである。 我々のネットワークは、画像のプリミティブ表現と画像自体とのマッピングを学習する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:27Z)
• Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision [83.33283892171562]
  実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。 本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。 本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T18:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。