Fugu-MT 論文翻訳(概要): ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer

論文の概要: ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer

arxiv url: http://arxiv.org/abs/2403.13652v1
Date: Wed, 20 Mar 2024 14:58:09 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 16:38:11.031172
Title: ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer
Title（参考訳）: ZoDi:拡散画像転送によるゼロショット領域適応
Authors: Hiroki Azuma, Yusuke Matsui, Atsuto Maki,
Abstract要約: 本稿では,ZoDiと呼ばれる拡散モデルに基づくゼロショット領域適応手法を提案する。まず,原画像の領域を対象領域に転送することで,対象画像の合成にオフ・ザ・シェルフ拡散モデルを用いる。次に、元の表現でソース画像と合成画像の両方を用いてモデルを訓練し、ドメイン・ロバスト表現を学習する。
参考スコア（独自算出の注目度）: 13.956618446530559
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Deep learning models achieve high accuracy in segmentation tasks among others, yet domain shift often degrades the models' performance, which can be critical in real-world scenarios where no target images are available. This paper proposes a zero-shot domain adaptation method based on diffusion models, called ZoDi, which is two-fold by the design: zero-shot image transfer and model adaptation. First, we utilize an off-the-shelf diffusion model to synthesize target-like images by transferring the domain of source images to the target domain. In this we specifically try to maintain the layout and content by utilising layout-to-image diffusion models with stochastic inversion. Secondly, we train the model using both source images and synthesized images with the original segmentation maps while maximizing the feature similarity of images from the two domains to learn domain-robust representations. Through experiments we show benefits of ZoDi in the task of image segmentation over state-of-the-art methods. It is also more applicable than existing CLIP-based methods because it assumes no specific backbone or models, and it enables to estimate the model's performance without target images by inspecting generated images. Our implementation will be publicly available.
Abstract（参考訳）: ディープラーニングモデルはセグメンテーションタスクにおいて高い精度を達成するが、ドメインシフトはしばしばモデルのパフォーマンスを低下させる。本稿では,ZoDiと呼ばれる拡散モデルに基づくゼロショット領域適応手法を提案する。まず,原画像の領域を対象領域に転送することで,対象画像の合成にオフザシェルフ拡散モデルを用いる。本稿では,レイアウト・ツー・イメージ拡散モデルと確率的逆転を用いたレイアウト・ツー・イメージ拡散モデルを用いて,レイアウトとコンテンツを具体的に維持することを試みる。次に、2つの領域の画像の特徴的類似性を最大化しながら、ソース画像と元のセグメンテーションマップによる合成画像の両方を用いてモデルを訓練し、ドメイン・ロバスト表現を学習する。実験を通して、最先端手法による画像分割作業におけるZoDiの利点を示す。特定のバックボーンやモデルを前提としないため、既存のCLIPベースのメソッドよりも適用性が高く、生成されたイメージを検査することで、ターゲット画像なしでモデルのパフォーマンスを推定できる。私たちの実装は公開されます。

関連論文リスト

Hybrid diffusion models: combining supervised and generative pretraining for label-efficient fine-tuning of segmentation models [55.2480439325792]
そこで本研究では,第1領域における画像のデノベーションとマスク予測を同時に行うことを目的とした,新しいプレテキストタスクを提案する。提案手法を用いて事前学習したモデルを微調整すると、教師なしまたは教師なしの事前学習を用いて訓練した類似モデルの微調整よりも優れた結果が得られることを示す。
論文参考訳（メタデータ） (2024-08-06T20:19:06Z)
FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文参考訳（メタデータ） (2024-03-29T10:38:25Z)
Generating Reliable Pixel-Level Labels for Source Free Domain Adaptation [13.913151437401472]
ReGENは、画像間翻訳ネットワークとセグメンテーションネットワークとを備える。我々のワークフローは、元のターゲット領域画像からノイズ予測を用いてターゲットライクな画像を生成する。
論文参考訳（メタデータ） (2023-07-03T09:44:13Z)
Domain Agnostic Image-to-image Translation using Low-Resolution Conditioning [6.470760375991825]
ドメインが関係するきめ細かい問題に対して,ドメインに依存しないi2i法を提案する。本稿では、生成モデルを訓練し、関連するソース画像の固有情報を共有する画像を生成する新しいアプローチを提案する。 CelebA-HQ と AFHQ のデータセット上で,視覚的品質の向上を実証し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2023-05-08T19:58:49Z)
One-shot Unsupervised Domain Adaptation with Personalized Diffusion Models [15.590759602379517]
ラベル付きソースドメインからターゲットドメインへのセグメンテーションモデルの適用は、ドメイン適応において最も難しい問題の1つである。テキストと画像の拡散モデルを用いて、写真リアル画像を用いた合成ターゲットデータセットを生成する。実験の結果,本手法は最先端OSUDA法を最大7.1%超えることがわかった。
論文参考訳（メタデータ） (2023-03-31T14:16:38Z)
Sketch-Guided Text-to-Image Diffusion Models [57.12095262189362]
本稿では,事前訓練されたテキスト-画像拡散モデルを示す普遍的なアプローチを提案する。本手法では,タスク専用のモデルや専用エンコーダをトレーニングする必要はない。我々は、スケッチ・ツー・イメージの翻訳タスクに特に焦点をあて、画像を生成する堅牢で表現力のある方法を明らかにする。
論文参考訳（メタデータ） (2022-11-24T18:45:32Z)
SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文参考訳（メタデータ） (2022-11-22T18:00:03Z)
Saliency-Driven Active Contour Model for Image Segmentation [2.8348950186890467]
本稿では,局所的な画像情報(LIF)を用いたサリエンシマップの利点を利用して,従来のモデルの欠点を克服する新しいモデルを提案する。提案モデルでは,画像の鮮度マップと局所画像情報を用いて,アクティブな輪郭モデルの進行性を向上させる。
論文参考訳（メタデータ） (2022-05-23T06:02:52Z)
Unsupervised Deep Learning Meets Chan-Vese Model [77.24463525356566]
本稿では,Chan-Vese(CV)モデルとディープニューラルネットワークを統合した教師なしのイメージセグメンテーション手法を提案する。私たちの基本的な考え方は、イメージを潜伏空間にマッピングするディープニューラルネットワークを適用して、画像空間における断片的な定数仮定の違反を軽減することです。
論文参考訳（メタデータ） (2022-04-14T13:23:57Z)
Cartoon-texture evolution for two-region image segmentation [0.0]
2領域イメージセグメンテーション(英: two-rea image segmentation)は、画像が2つの関心領域、すなわち前景と背景に分割される過程である。 Chan, Esedo=glu, Nikolova, SIAM Journal on Applied Mathematics 66(5), 1632-1648, 2006
論文参考訳（メタデータ） (2022-03-07T16:50:01Z)
Meta Internal Learning [88.68276505511922]
単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
論文参考訳（メタデータ） (2021-10-06T16:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。