論文の概要: ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity

• arxiv url: http://arxiv.org/abs/2203.08101v1
• Date: Tue, 15 Mar 2022 17:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 15:38:37.748812
• Title: ARTEMIS: Attention-based Retrieval with Text-Explicit Matching and Implicit Similarity
• Title（参考訳）: ARTEMIS:テキスト明示的マッチングと暗黙的類似性を用いた注意に基づく検索
• Authors: Ginger Delmas and Rafael Sampaio de Rezende and Gabriela Csurka and Diane Larlus
• Abstract要約: 現在のアプローチでは、クエリの2つの要素のそれぞれの特徴をひとつの表現にまとめています。 本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。
• 参考スコア（独自算出の注目度）: 16.550790981646276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An intuitive way to search for images is to use queries composed of an example image and a complementary text. While the first provides rich and implicit context for the search, the latter explicitly calls for new traits, or specifies how some elements of the example image should be changed to retrieve the desired target image. Current approaches typically combine the features of each of the two elements of the query into a single representation, which can then be compared to the ones of the potential target images. Our work aims at shedding new light on the task by looking at it through the prism of two familiar and related frameworks: text-to-image and image-to-image retrieval. Taking inspiration from them, we exploit the specific relation of each query element with the targeted image and derive light-weight attention mechanisms which enable to mediate between the two complementary modalities. We validate our approach on several retrieval benchmarks, querying with images and their associated free-form text modifiers. Our method obtains state-of-the-art results without resorting to side information, multi-level features, heavy pre-training nor large architectures as in previous works.
• Abstract（参考訳）: 画像を探す直感的な方法は、例画像と相補的なテキストからなるクエリを使用することである。 1つ目は検索にリッチで暗黙的なコンテキストを提供するが、後者は明示的に新しい特徴を呼び出したり、サンプル画像のいくつかの要素をどのように変更して望ましいターゲット画像を取得するかを指定する。 現在のアプローチでは、クエリの2つの要素のそれぞれの特徴を単一の表現に組み合わせ、潜在的なターゲットイメージの特徴と比較することができる。 本研究の目的は,テキスト・ツー・イメージ検索と画像・ツー・イメージ検索という,慣れ親しんだ2つのフレームワークのプリズムを通じてタスクに新たな光を当てることである。 それらから着想を得て,各問合せ要素と対象画像との特定の関係を活用し,2つの相補的モダリティ間の仲介を可能にする軽量注意機構を導出する。 提案手法を複数の検索ベンチマークで検証し,画像と関連した自由形テキスト修飾器を用いて検索する。 提案手法は,従来の研究のように,サイド情報,多レベル特徴,重度事前学習,大規模アーキテクチャに頼ることなく,最先端の成果が得られる。

関連論文リスト

• MagicLens: Self-Supervised Image Retrieval with Open-Ended Instructions [64.89284104414865]
  オープンエンド命令をサポートする自己教師付き画像検索モデルであるMagicLensを紹介する。 MagicLensは、重要な新しい洞察に基づいて構築されている。同じWebページで自然に起こるイメージペアは、幅広い暗黙の関係を含んでいる。 MagicLensは、さまざまな画像検索タスクの8つのベンチマークで、これまでの最高値に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-03-28T17:59:20Z)
• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Learning Comprehensive Representations with Richer Self for Text-to-Image Person Re-Identification [34.289949134802086]
  TIReID(Text-to-image person re-identification)は、クエリテキストに基づいて同一人物の歩行者画像を取得する。 既存のTIReIDの手法では、通常は1対1の画像テキストマッチングの問題として扱われ、ビュー内の画像テキストペア間の関係にのみ焦点をあてる。 我々はLCR$2$Sと呼ばれるフレームワークを提案し、新しい視点から両方のモダリティの表現を学習することで同一のアイデンティティの多対多対応をモデル化する。
  論文  参考訳（メタデータ） (2023-10-17T12:39:16Z)
• BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
  CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。 本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
  論文  参考訳（メタデータ） (2022-07-09T07:14:44Z)
• Progressive Learning for Image Retrieval with Hybrid-Modality Queries [48.79599320198615]
  ハイブリッドモダリティクエリによる画像検索(CTI-IR) 我々は、CTI-IRタスクを3段階の学習問題に分解し、ハイブリッドモダリティクエリを用いて画像検索のための複雑な知識を段階的に学習する。 提案モデルは,Fashion-IQおよびShoesベンチマークデータセットにおいて,Recall@K平均の最先端手法を24.9%,9.5%向上させる。
  論文  参考訳（メタデータ） (2022-04-24T08:10:06Z)
• Two-stream Hierarchical Similarity Reasoning for Image-text Matching [66.43071159630006]
  文脈情報を自動的に抽出する階層的類似性推論モジュールを提案する。 従来のアプローチでは、シングルストリームの類似性アライメントを学習することしか検討されていなかった。 イメージ・ツー・テキスト・レベルの類似性計算とテキスト・ツー・テキスト・レベルの類似性計算に画像・テキストマッチングを分解する2ストリームアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2022-03-10T12:56:10Z)
• Towards Efficient Cross-Modal Visual Textual Retrieval using Transformer-Encoder Deep Features [10.163477961551592]
  クロスモーダル検索は、現代の検索エンジンにおいて重要な機能である。 本稿では,画像文検索に焦点をあてる。 我々は最近導入されたTERNアーキテクチャを画像文特徴抽出器として利用する。
  論文  参考訳（メタデータ） (2021-06-01T10:11:46Z)
• Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval [8.317191999275536]
  本稿では,視覚的・テキスト的手がかりの形でマルチモーダルコンテンツを活用することで,微細な画像分類と検索の課題に取り組むことに焦点を当てる。 画像中の有意なオブジェクトとテキスト間の共通意味空間を学習することにより、マルチモーダル推論を行い、関係強化された特徴を得るためにグラフ畳み込みネットワークを用いる。
  論文  参考訳（メタデータ） (2020-09-21T12:31:42Z)
• SAC: Semantic Attention Composition for Text-Conditioned Image Retrieval [15.074592583852167]
  我々は,参照画像と並行してテキストフィードバックを利用して画像を取得するテキスト条件付き画像検索の課題に焦点をあてる。 そこで我々は,これらを「見る場所」(Semantic Feature Attention) と「変化の仕方」の2つの主要なステップで解決する新しいフレームワーク SAC を提案する。 我々のアーキテクチャは、他の最先端技術で必要となる様々なモジュールを不要にすることで、テキスト認識画像機能の生成をいかに効率化するかを示す。
  論文  参考訳（メタデータ） (2020-09-03T06:55:23Z)
• Tasks Integrated Networks: Joint Detection and Retrieval for Image Search [99.49021025124405]
  多くの現実世界の探索シナリオ(例えばビデオ監視)では、オブジェクトは正確に検出または注釈付けされることはめったにない。 まず、エンド・ツー・エンド統合ネット(I-Net)を紹介します。 さらに,2つの新しいコントリビューションを行うDC-I-Netという改良されたI-Netを提案する。
  論文  参考訳（メタデータ） (2020-09-03T03:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。