論文の概要: Composed Image Retrieval for Training-Free Domain Conversion

• arxiv url: http://arxiv.org/abs/2412.03297v1
• Date: Wed, 04 Dec 2024 13:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:07.402044
• Title: Composed Image Retrieval for Training-Free Domain Conversion
• Title（参考訳）: 自由領域変換のための合成画像検索
• Authors: Nikos Efthymiadis, Bill Psomas, Zakaria Laskar, Konstantinos Karantzalos, Yannis Avrithis, Ondřej Chum, Giorgos Tolias,
• Abstract要約: 本稿では,強力な視覚言語モデルにより,追加の訓練を伴わずに十分な記述力が得られることを示す。 クエリ画像をテキストインバージョンを用いてテキスト入力空間にマッピングする。 提案手法は,標準ベンチマークと新たに導入されたベンチマークにおいて,先行技術よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 18.347643780858284
• License:
• Abstract: This work addresses composed image retrieval in the context of domain conversion, where the content of a query image is retrieved in the domain specified by the query text. We show that a strong vision-language model provides sufficient descriptive power without additional training. The query image is mapped to the text input space using textual inversion. Unlike common practice that invert in the continuous space of text tokens, we use the discrete word space via a nearest-neighbor search in a text vocabulary. With this inversion, the image is softly mapped across the vocabulary and is made more robust using retrieval-based augmentation. Database images are retrieved by a weighted ensemble of text queries combining mapped words with the domain text. Our method outperforms prior art by a large margin on standard and newly introduced benchmarks. Code: https://github.com/NikosEfth/freedom
• Abstract（参考訳）: この作業は、クエリ画像の内容がクエリテキストで指定されたドメイン内で検索されるドメイン変換のコンテキストにおいて、画像検索を構成する。 本稿では,強力な視覚言語モデルにより,追加の訓練を伴わずに十分な記述力が得られることを示す。 クエリ画像をテキストインバージョンを用いてテキスト入力空間にマッピングする。 テキストトークンの連続空間を逆転させる一般的な慣行とは異なり、テキスト語彙の最も近い検索を通して離散的な単語空間を使用する。 この反転により、画像は語彙にソフトマッピングされ、検索ベースの拡張によりより堅牢になる。 データベース画像は、マッピングされた単語とドメインテキストを組み合わせたテキストクエリの重み付けアンサンブルによって検索される。 提案手法は,標準ベンチマークと新たに導入されたベンチマークにおいて,先行技術よりも優れた性能を示す。 コード:https://github.com/NikosEfth/freedom

関連論文リスト

• Composed Image Retrieval for Remote Sensing [24.107610091033997]
  この研究は、合成画像検索をリモートセンシングに導入する。 テキスト記述で交互に画像例によって大きな画像アーカイブをクエリできる。 イメージ・ツー・イメージとテキスト・ツー・イメージの類似性を融合させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:18:31Z)
• Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval [53.89454443114146]
  本研究では,ゼロショット合成画像検索タスク(ZS-CIR)について検討した。 従来の作品では、参照画像の特徴をテキスト埋め込み空間に投影することで、擬似ワードトークンを生成する。 知識強化型デュアルストリームゼロショット合成画像検索フレームワーク(KEDs)を提案する。 KEDはデータベースを組み込むことで、参照画像の属性を暗黙的にモデル化する。
  論文  参考訳（メタデータ） (2024-03-24T04:23:56Z)
• UFineBench: Towards Text-based Person Retrieval with Ultra-fine Granularity [50.91030850662369]
  既存のテキストベースの人物検索データセットは、しばしば比較的粗い粒度のテキストアノテーションを持つ。 これにより、実際のシナリオにおけるクエリテキストのきめ細かいセマンティクスを理解するモデルが妨げられます。 我々は,超微細な人物検索のためにtextbfUFineBench という新しいベンチマークを作成した。
  論文  参考訳（メタデータ） (2023-12-06T11:50:14Z)
• Scene Graph Based Fusion Network For Image-Text Retrieval [2.962083552798791]
  画像テキスト検索における重要な課題は、画像とテキストの正確な対応を学習する方法である。 そこで我々は,Scene GraphベースのFusion Network(SGFN)を提案する。 我々のSGFNは、非常に少数のSOTA画像テキスト検索方法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-20T13:22:56Z)
• Embedding Arithmetic for Text-driven Image Transformation [48.7704684871689]
  テキスト表現は、有名なアナロジーのような幾何学的規則性を示す。 最近の研究は、このセマンティックギャップを、画像とテキストをマルチモーダル空間に埋め込むことを目的としている。 SIMATデータセットを導入し,テキスト駆動画像変換の課題を評価する。
  論文  参考訳（メタデータ） (2021-12-06T16:51:50Z)
• Scene Text Retrieval via Joint Text Detection and Similarity Learning [68.24531728554892]
  シーンテキスト検索は、与えられたクエリテキストと同じまたは類似している画像ギャラリーからすべてのテキストインスタンスをローカライズし、検索することを目的としています。 自然画像からクエリテキストと各テキストインスタンスのクロスモーダルな類似性を直接学習することでこの問題に対処します。 このように、検出されたテキストインスタンスを学習された類似度でランク付けすることで、シーンテキスト検索を簡単に実行できます。
  論文  参考訳（メタデータ） (2021-04-04T07:18:38Z)
• Telling the What while Pointing the Where: Fine-grained Mouse Trace and Language Supervision for Improved Image Retrieval [60.24860627782486]
  きめ細かい画像検索は、しばしば、探しているコンテンツがどこにあるかを表現する能力を必要とする。 本稿では,ユーザが音声自然言語(“What”)とマウスが空のキャンバス(“where”)にトレースした画像を同時に記述する画像検索装置について述べる。 我々のモデルは、この空間的ガイダンスを考慮に入れ、テキストのみの等価システムと比較して、より正確な検索結果を提供する。
  論文  参考訳（メタデータ） (2021-02-09T17:54:34Z)
• Using Text to Teach Image Retrieval [47.72498265721957]
  ニューラルネットワークを用いて学習した画像の特徴空間をグラフとして表現するために,画像多様体の概念に基づいて構築する。 我々は、幾何学的に整列したテキストで多様体のサンプルを増補し、大量の文を使って画像について教える。 実験結果から, 結合埋め込み多様体は頑健な表現であり, 画像検索を行うためのより良い基礎となることが示唆された。
  論文  参考訳（メタデータ） (2020-11-19T16:09:14Z)
• Retrieval Guided Unsupervised Multi-domain Image-to-Image Translation [59.73535607392732]
  画像から画像への変換は、ある視覚領域から別の領域へ画像を変換するマッピングを学ぶことを目的としている。 本稿では,画像から画像への変換作業を支援するための画像検索システムを提案する。
  論文  参考訳（メタデータ） (2020-08-11T20:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。