論文の概要: A Multimodal Approach for Cross-Domain Image Retrieval

• arxiv url: http://arxiv.org/abs/2403.15152v2
• Date: Sat, 05 Oct 2024 09:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:38:09.153759
• Title: A Multimodal Approach for Cross-Domain Image Retrieval
• Title（参考訳）: クロスドメイン画像検索のためのマルチモーダルアプローチ
• Authors: Lucas Iijima, Nikolaos Giakoumoglou, Tania Stathaki,
• Abstract要約: クロスドメイン画像検索(Cross-Domain Image Retrieval, CDIR)は、コンピュータビジョンにおける課題である。 本稿では、事前学習された視覚言語モデルを活用することで、テキストコンテキストを取り入れた新しい教師なしのCDIRアプローチを提案する。 提案手法は,画像キャプションをドメインに依存しない中間表現として用いる。
• 参考スコア（独自算出の注目度）: 5.5547914920738
• License:
• Abstract: Cross-Domain Image Retrieval (CDIR) is a challenging task in computer vision, aiming to match images across different visual domains such as sketches, paintings, and photographs. Traditional approaches focus on visual image features and rely heavily on supervised learning with labeled data and cross-domain correspondences, which leads to an often struggle with the significant domain gap. This paper introduces a novel unsupervised approach to CDIR that incorporates textual context by leveraging pre-trained vision-language models. Our method, dubbed as Caption-Matching (CM), uses generated image captions as a domain-agnostic intermediate representation, enabling effective cross-domain similarity computation without the need for labeled data or fine-tuning. We evaluate our method on standard CDIR benchmark datasets, demonstrating state-of-the-art performance in unsupervised settings with improvements of 24.0% on Office-Home and 132.2% on DomainNet over previous methods. We also demonstrate our method's effectiveness on a dataset of AI-generated images from Midjourney, showcasing its ability to handle complex, multi-domain queries.
• Abstract（参考訳）: クロスドメイン画像検索(Cross-Domain Image Retrieval、CDIR)は、スケッチ、絵画、写真など、さまざまな視覚領域にわたる画像のマッチングを目的としたコンピュータビジョンにおける課題である。 従来のアプローチでは、視覚的なイメージ機能に重点を置いて、ラベル付きデータとドメイン間の通信による教師付き学習に大きく依存していた。 本稿では、事前学習された視覚言語モデルを活用することで、テキストコンテキストを取り入れた新しい教師なしのCDIRアプローチを提案する。 提案手法はキャプションマッチング(CM)と呼ばれ,画像キャプションをドメインに依存しない中間表現として使用し,ラベル付きデータや微調整を必要とせず,ドメイン間の類似性を効果的に計算する。 本手法を標準CDIRベンチマークデータセットで評価し,Office-Homeでは24.0%,DomainNetでは132.2%,教師なし設定では最先端の性能を示す。 また、この手法の有効性をMidjourneyのAI生成画像のデータセット上で実証し、複雑なマルチドメインクエリを扱う能力を示す。

関連論文リスト

• WIDIn: Wording Image for Domain-Invariant Representation in Single-Source Domain Generalization [63.98650220772378]
  We present WIDIn, Wording Images for Domain-Invariant representation, to disentangleative discriminative visual representation。 まず、ドメイン固有の言語を適応的に識別し、削除するために使用可能な、きめ細かいアライメントを組み込んだ言語を推定する。 WIDInは、CLIPのような事前訓練された視覚言語モデルと、MoCoやBERTのような個別訓練されたユニモーダルモデルの両方に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:46:27Z)
• Domain Agnostic Image-to-image Translation using Low-Resolution Conditioning [6.470760375991825]
  ドメインが関係するきめ細かい問題に対して,ドメインに依存しないi2i法を提案する。 本稿では、生成モデルを訓練し、関連するソース画像の固有情報を共有する画像を生成する新しいアプローチを提案する。 CelebA-HQ と AFHQ のデータセット上で,視覚的品質の向上を実証し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-08T19:58:49Z)
• Unsupervised Domain Adaptation for Semantic Segmentation using One-shot Image-to-Image Translation via Latent Representation Mixing [9.118706387430883]
  超高解像度画像のセマンティックセグメンテーションのための新しい教師なし領域適応法を提案する。 潜在コンテンツ表現をドメイン間で混合するエンコーダ・デコーダの原理に基づいて,画像から画像への変換パラダイムを提案する。 都市間比較実験により,提案手法は最先端領域適応法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-07T18:16:17Z)
• Unsupervised Domain Generalization by Learning a Bridge Across Domains [78.855606355957]
  Unsupervised Domain Generalization (UDG) のセットアップでは、ソースもターゲットドメインもトレーニングの監督は行わない。 本手法は,各トレーニング領域からBrADへの視覚的(イメージ間)マッピングを保存したセマンティクスのセットを伴って,補助的なブリッジドメインであるBrAD(Bridge Across Domains)の自己教師型学習に基づいている。 我々は,エッジレギュラー化したBrADを用いて,UDG,Few-shot UDA,マルチドメインデータセット間の教師なし一般化など,複数のベンチマークやタスクにまたがる大幅な向上を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-12-04T10:25:45Z)
• Semantic Consistency in Image-to-Image Translation for Unsupervised Domain Adaptation [22.269565708490465]
  Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルを、ラベル付きデータが使用できない新しいターゲットドメインに適応させることを目的としている。 UDAの整合性正規化手法と組み合わせて意味論的に一貫した画像から画像への変換法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:22:20Z)
• Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
  本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
  論文  参考訳（メタデータ） (2021-05-18T02:38:22Z)
• Crossing-Domain Generative Adversarial Networks for Unsupervised Multi-Domain Image-to-Image Translation [12.692904507625036]
  複数の領域にまたがる教師なし画像間翻訳のための一般的なフレームワークを提案する。 提案するフレームワークは,一対のエンコーダと一対のGANから構成される。
  論文  参考訳（メタデータ） (2020-08-27T01:54:07Z)
• Weakly supervised cross-domain alignment with optimal transport [102.8572398001639]
  画像オブジェクトとテキストシーケンス間のクロスドメインアライメントは多くの視覚言語タスクの鍵となる。 本稿では,画像とテキスト間の微粒な意味的類似点の同定と最適化のための新しいアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-08-14T22:48:36Z)
• Cross-domain Correspondence Learning for Exemplar-based Image Translation [59.35767271091425]
  本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。 出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。 本手法は画像品質の面で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:10:57Z)
• CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
  教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。 本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。