論文の概要: You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval

• arxiv url: http://arxiv.org/abs/2403.07222v2
• Date: Wed, 20 Mar 2024 19:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 18:48:21.244241
• Title: You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval
• Title（参考訳）: 美麗な画像検索ができる「Sketch and Text Duet」(動画あり)
• Authors: Subhadeep Koley, Ayan Kumar Bhunia, Aneeshan Sain, Pinaki Nath Chowdhury, Tao Xiang, Yi-Zhe Song,
• Abstract要約: 事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
• 参考スコア（独自算出の注目度）: 120.49126407479717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Two primary input modalities prevail in image retrieval: sketch and text. While text is widely used for inter-category retrieval tasks, sketches have been established as the sole preferred modality for fine-grained image retrieval due to their ability to capture intricate visual details. In this paper, we question the reliance on sketches alone for fine-grained image retrieval by simultaneously exploring the fine-grained representation capabilities of both sketch and text, orchestrating a duet between the two. The end result enables precise retrievals previously unattainable, allowing users to pose ever-finer queries and incorporate attributes like colour and contextual cues from text. For this purpose, we introduce a novel compositionality framework, effectively combining sketches and text using pre-trained CLIP models, while eliminating the need for extensive fine-grained textual descriptions. Last but not least, our system extends to novel applications in composed image retrieval, domain attribute transfer, and fine-grained generation, providing solutions for various real-world scenarios.
• Abstract（参考訳）: 画像検索における2つの主要な入力モダリティは、スケッチとテキストである。 テキストはカテゴリ間検索タスクに広く使われているが、複雑な視覚的詳細をキャプチャできるため、細粒度画像検索のための唯一のモダリティとして、スケッチが確立されている。 本稿では、スケッチとテキストの両方の微細な表現能力を同時に探索し、両者のデュエットを編成することで、スケッチのみの微細な画像検索への依存を疑問視する。 その結果、これまでは達成不可能だった正確な検索が可能となり、ユーザーは常に精細なクエリをポーズしたり、テキストから色やコンテキストの手がかりなどの属性を組み込むことができる。 そこで本研究では,事前学習したCLIPモデルを用いてスケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 最後に、本システムは、合成画像検索、ドメイン属性転送、微粒化生成における新しい応用に拡張され、様々な実世界のシナリオに対するソリューションを提供する。

関連論文リスト

• Locate, Assign, Refine: Taming Customized Image Inpainting with Text-Subject Guidance [17.251982243534144]
  LAR-Genは、マスクされたシーンイメージのシームレスなインペイントを可能にする、画像インペイントのための新しいアプローチである。 提案手法は,主観的アイデンティティの保存と局所的セマンティック・コヒーレンスを確保するために,粗大かつきめの手法を採用する。 実験と様々な応用シナリオは、アイデンティティ保存とテキストセマンティック一貫性の両方の観点から、LAR-Genの優位性を示している。
  論文  参考訳（メタデータ） (2024-03-28T16:07:55Z)
• Unleashing the Imagination of Text: A Novel Framework for Text-to-image Person Retrieval via Exploring the Power of Words [0.951828574518325]
  文中の単語のパワーを探索する新しい枠組みを提案する。 このフレームワークは、トレーニング済みのフルCLIPモデルをイメージとテキストのデュアルエンコーダとして採用している。 ハードサンプルの処理に適したクロスモーダル三重項損失を導入し,微妙な違いを識別するモデルの能力を高めた。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• A Sketch Is Worth a Thousand Words: Image Retrieval with Text and Sketch [63.12810494378133]
  テキスト記述とスケッチを入力として,画像検索のためのエンドツーエンドのトレーニング可能なモデルを提案する。 テキストに加え、入力スケッチ(下図)を使用することで、従来のテキストベースの画像検索と比較して、検索リコールが大幅に増加することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-08-05T18:43:37Z)
• SceneTrilogy: On Human Scene-Sketch and its Complementarity with Photo and Text [109.69076457732632]
  本稿では,シーン理解を人間のスケッチに含めるように拡張する。 この相補性がもたらすオプションを完全にサポートするフレキシブルなジョイント埋め込みを学ぶことに注力します。
  論文  参考訳（メタデータ） (2022-04-25T20:58:17Z)
• ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity [16.550790981646276]
  現在のアプローチでは、クエリの2つの要素のそれぞれの特徴をひとつの表現にまとめています。 本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。
  論文  参考訳（メタデータ） (2022-03-15T17:29:20Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Telling the What while Pointing the Where: Fine-grained Mouse Trace and Language Supervision for Improved Image Retrieval [60.24860627782486]
  きめ細かい画像検索は、しばしば、探しているコンテンツがどこにあるかを表現する能力を必要とする。 本稿では,ユーザが音声自然言語(“What”)とマウスが空のキャンバス(“where”)にトレースした画像を同時に記述する画像検索装置について述べる。 我々のモデルは、この空間的ガイダンスを考慮に入れ、テキストのみの等価システムと比較して、より正確な検索結果を提供する。
  論文  参考訳（メタデータ） (2021-02-09T17:54:34Z)
• Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval [8.317191999275536]
  本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。 画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
  論文  参考訳（メタデータ） (2020-09-21T12:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。