論文の概要: Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval

• arxiv url: http://arxiv.org/abs/2401.04860v1
• Date: Wed, 10 Jan 2024 00:39:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 15:56:35.435841
• Title: Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval
• Title（参考訳）: ゼロショットスケッチに基づく画像検索のためのモダリティ認識表現学習
• Authors: Eunyi Lyou, Doyeon Lee, Jooeun Kim, Joonseok Lee
• Abstract要約: ゼロショット学習は、機械学習モデルが目に見えないカテゴリを扱うための効率的なソリューションを提供する。 そこで本研究では,スケッチや写真をテキストで対比して間接的にアライメントする新しいフレームワークを提案する。 データから学習したモダリティを明示的に符号化することで、モダリティ固有の情報からモダリティに依存しないセマンティクスを分離する。
• 参考スコア（独自算出の注目度）: 10.568851068989973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot learning offers an efficient solution for a machine learning model to treat unseen categories, avoiding exhaustive data collection. Zero-shot Sketch-based Image Retrieval (ZS-SBIR) simulates real-world scenarios where it is hard and costly to collect paired sketch-photo samples. We propose a novel framework that indirectly aligns sketches and photos by contrasting them through texts, removing the necessity of access to sketch-photo pairs. With an explicit modality encoding learned from data, our approach disentangles modality-agnostic semantics from modality-specific information, bridging the modality gap and enabling effective cross-modal content retrieval within a joint latent space. From comprehensive experiments, we verify the efficacy of the proposed model on ZS-SBIR, and it can be also applied to generalized and fine-grained settings.
• Abstract（参考訳）: ゼロショット学習(zero-shot learning)は、未発見のカテゴリを扱う機械学習モデルに効率的なソリューションを提供する。 Zero-shot Sketch-based Image Retrieval (ZS-SBIR)は、ペアのスケッチ写真サンプルの収集が困難でコストがかかる現実のシナリオをシミュレートする。 本稿では,スケッチと写真をテキストで対比することで間接的に整列する新しいフレームワークを提案し,スケッチ-フォトペアへのアクセスの必要性を解消する。 データから学習した明示的モダリティエンコーディングでは、モダリティ固有の情報からモダリティ非依存なセマンティクスを分離し、モダリティギャップを橋渡しし、ジョイント潜在空間内で効果的なクロスモダリティコンテンツ検索を可能にする。 総合実験から,zs-sbirにおける提案モデルの有効性を検証し,一般化および細粒度設定にも適用できることを示した。

関連論文リスト

• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Sketch-an-Anchor: Sub-epoch Fast Model Adaptation for Zero-shot Sketch-based Image Retrieval [1.52292571922932]
  Sketch-an-Anchorは、最先端のZSSBIR(Zero-shot Image Retrieval)モデルをエポック下でトレーニングする新しい方法である。 我々の高速収束モデルは、スケッチから類似した表現を抽出することを学びながら、単一ドメインのパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2023-03-29T15:00:02Z)
• Data-Free Sketch-Based Image Retrieval [56.96186184599313]
  本研究では,事前学習された単一モダリティ分類モデルを用いて,学習データにアクセスせずに検索のためのクロスモーダルな距離空間を学習するData-Free (DF)-SBIRを提案する。 本稿では、写真やスケッチの分類を行うために、独立して訓練されたモデルからの知識を活用できるDF-SBIRの方法論を提案する。 また、トレーニングデータを必要としないデータ依存アプローチと競合するmAPを実現する。
  論文  参考訳（メタデータ） (2023-03-14T10:34:07Z)
• ACNet: Approaching-and-Centralizing Network for Zero-Shot Sketch-Based Image Retrieval [28.022137537238425]
  textbfApproaching-and-textbfCentralizing textbfACNetwork (termed textbfACNet'')を提案する。 検索モジュールは合成モジュールをガイドし、写真ドメインに徐々に接近する多彩な写真ライクな画像を生成する。 提案手法は、広く使われている2つのZS-SBIRデータセットの最先端性能を達成し、従来手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-24T19:36:10Z)
• Domain-Smoothing Network for Zero-Shot Sketch-Based Image Retrieval [66.37346493506737]
  Zero-Shot Sketch-Based Image Retrieval (ZS-SBIR) は、新しいクロスモーダル検索タスクである。 ZS-SBIRのための新しいドメイン・スムーシング・ネットワーク(DSN)を提案する。 我々のアプローチは、SketchyとTU-Berlinの両方のデータセットで最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-22T14:58:08Z)
• Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
  本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。 このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
  論文  参考訳（メタデータ） (2021-05-18T02:38:22Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)
• A Zero-Shot Sketch-based Inter-Modal Object Retrieval Scheme for Remote Sensing Images [26.48516754642218]
  本稿では,RSデータのスケッチベース表現を用いたモーダル三重項に基づくゼロショット検索手法を提案する。 提案手法は、スケッチ表現が画像の極端にプロトタイプである場合でも効率よく動作する。
  論文  参考訳（メタデータ） (2020-08-12T10:51:24Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。