論文の概要: Adapt Anything: Tailor Any Image Classifiers across Domains And Categories Using Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.16573v1
• Date: Wed, 25 Oct 2023 11:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 15:02:15.741691
• Title: Adapt Anything: Tailor Any Image Classifiers across Domains And Categories Using Text-to-Image Diffusion Models
• Title（参考訳）: Adapt Anything:テキストと画像の拡散モデルを用いて、ドメインとカテゴリをまたいだ任意の画像分類を行う
• Authors: Weijie Chen, Haoyu Wang, Shicai Yang, Lei Zhang, Wei Wei, Yanning Zhang, Luojun Lin, Di Xie, Yueting Zhuang
• Abstract要約: 我々は,現代テキスト・画像拡散モデルが,ドメインやカテゴリ間でタスク適応型画像分類器をカスタマイズできるかどうかを検討することを目的とする。 対象のテキストプロンプトから派生したカテゴリラベルを用いた画像合成には,1つのオフ・ザ・シェルフテキスト・ツー・イメージモデルのみを用いる。
• 参考スコア（独自算出の注目度）: 82.95591765009105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We do not pursue a novel method in this paper, but aim to study if a modern text-to-image diffusion model can tailor any task-adaptive image classifier across domains and categories. Existing domain adaptive image classification works exploit both source and target data for domain alignment so as to transfer the knowledge learned from the labeled source data to the unlabeled target data. However, as the development of the text-to-image diffusion model, we wonder if the high-fidelity synthetic data from the text-to-image generator can serve as a surrogate of the source data in real world. In this way, we do not need to collect and annotate the source data for each domain adaptation task in a one-for-one manner. Instead, we utilize only one off-the-shelf text-to-image model to synthesize images with category labels derived from the corresponding text prompts, and then leverage the surrogate data as a bridge to transfer the knowledge embedded in the task-agnostic text-to-image generator to the task-oriented image classifier via domain adaptation. Such a one-for-all adaptation paradigm allows us to adapt anything in the world using only one text-to-image generator as well as the corresponding unlabeled target data. Extensive experiments validate the feasibility of the proposed idea, which even surpasses the state-of-the-art domain adaptation works using the source data collected and annotated in real world.
• Abstract（参考訳）: 本論文は,新しい手法を追求するものではないが,現代のテキスト・画像拡散モデルが,ドメインやカテゴリ間でタスク適応型画像分類器をカスタマイズできるかどうかを検討することを目的としている。 既存のドメイン適応画像分類は、ラベル付きソースデータから学んだ知識をラベルなしのターゲットデータに転送するために、ソースデータとターゲットデータの両方を利用する。 しかし,テキストから画像への拡散モデルが発達するにつれて,テキストから画像への高忠実度合成データが実世界のソースデータのサロゲートとして機能するか疑問である。 このようにして、各ドメイン適応タスクのソースデータを1対1で収集してアノテートする必要はありません。 その代わりに、1つのオフ・ザ・シェルフテキスト・トゥ・イメージモデルのみを使用して、対応するテキストプロンプトから派生したカテゴリラベルで画像を合成し、サロゲートデータをブリッジとして利用し、タスクに依存しないテキスト・トゥ・イメージジェネレータに埋め込まれた知識をドメイン適応を介してタスク指向画像分類器に転送する。 このような1対1の適応パラダイムによって、1つのテキストから画像へのジェネレータと対応するラベルなしのターゲットデータを使って、世界中のあらゆるものに適応することができます。 実世界で収集・注釈付けされたソースデータを用いて、最先端のドメイン適応作業を超越した提案されたアイデアの実現可能性を検証する。

関連論文リスト

• Generating Reliable Pixel-Level Labels for Source Free Domain Adaptation [13.913151437401472]
  ReGENは、画像間翻訳ネットワークとセグメンテーションネットワークとを備える。 我々のワークフローは、元のターゲット領域画像からノイズ予測を用いてターゲットライクな画像を生成する。
  論文  参考訳（メタデータ） (2023-07-03T09:44:13Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• One-shot Unsupervised Domain Adaptation with Personalized Diffusion Models [15.590759602379517]
  ラベル付きソースドメインからターゲットドメインへのセグメンテーションモデルの適用は、ドメイン適応において最も難しい問題の1つである。 テキストと画像の拡散モデルを用いて、写真リアル画像を用いた合成ターゲットデータセットを生成する。 実験の結果,本手法は最先端OSUDA法を最大7.1%超えることがわかった。
  論文  参考訳（メタデータ） (2023-03-31T14:16:38Z)
• Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
  自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。 本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。 i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
  論文  参考訳（メタデータ） (2023-03-30T05:25:20Z)
• Universal Domain Adaptation for Remote Sensing Image Scene Classification [27.422845844752338]
  リモートセンシング画像シーン分類のための実用的なユニバーサルドメイン適応設定を提案する。 ソースデータが利用できない場合に、ソースデータのない新しいユニバーサルドメイン適応法を提案する。 実験の結果,提案手法はリモートセンシング画像のシーン分類に有効で実用的であることが示された。
  論文  参考訳（メタデータ） (2023-01-26T20:04:24Z)
• I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic Segmentation [55.633859439375044]
  意味的セグメンテーションのための教師なしドメイン適応(UDA)は、重いアノテーション作業から人々を解放する有望なタスクである。 この問題に対処する主要なアイデアは、画像レベルと特徴レベルの両方を共同で実行することである。 本稿では,画像レベルと特徴レベルを統一したセマンティックセグメンテーションのための新しいUDAパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:19:48Z)
• Instance-level Heterogeneous Domain Adaptation for Limited-labeled Sketch-to-Photo Retrieval [36.32367182571164]
  インスタンスレベルの不均一ドメイン適応(IHDA)フレームワークを提案する。 我々は,インスタンスレベルの知識を帰納的伝達方式で伝達することを目的とした,アイデンティティラベル学習のための微調整戦略を適用した。 提案手法は,3つのスケッチ・ツー・フォト画像検索ベンチマークに対して,アノテーションを伴わずに新たな手法を設定できることが実験により示されている。
  論文  参考訳（メタデータ） (2022-11-26T08:50:08Z)
• Source-Free Domain Adaptive Fundus Image Segmentation with Denoised Pseudo-Labeling [56.98020855107174]
  ドメイン適応は通常、ソースドメインデータにアクセスして、ターゲットデータとのドメインアライメントのために配布情報を利用する必要があります。 多くの実世界のシナリオでは、プライバシの問題により、ターゲットドメインのモデル適応中にソースデータがアクセスできない場合がある。 本稿では,本問題に対する新たな擬似ラベル付け手法を提案する。
  論文  参考訳（メタデータ） (2021-09-19T06:38:21Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Consistency Regularization with High-dimensional Non-adversarial Source-guided Perturbation for Unsupervised Domain Adaptation in Segmentation [15.428323201750144]
  BiSIDAは、未ラベルのターゲットデータセットからの情報を効率的に活用するために、一貫性の正則化を採用している。 BiSIDAは、一般的に使われている2つの合成-実領域適応ベンチマーク上で、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2020-09-18T03:26:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。