論文の概要: Revisiting Relevance Feedback for CLIP-based Interactive Image Retrieval

• arxiv url: http://arxiv.org/abs/2404.16398v2
• Date: Mon, 29 Apr 2024 18:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 13:06:54.054418
• Title: Revisiting Relevance Feedback for CLIP-based Interactive Image Retrieval
• Title（参考訳）: CLIPに基づくインタラクティブ画像検索のための関連フィードバックの再検討
• Authors: Ryoya Nara, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Goh Itoh, Osamu Torii, Yusuke Matsui,
• Abstract要約: 関連性フィードバックを用いた対話型CLIP画像検索システムを提案する。 検索システムはまず検索を実行し、各ユーザの独自の好みをバイナリフィードバックで収集し、ユーザが好む画像を返す。 本研究は,CLIPと古典的関連フィードバック技術を統合することにより,画像検索を向上する可能性を強調した。
• 参考スコア（独自算出の注目度）: 9.730560673232084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many image retrieval studies use metric learning to train an image encoder. However, metric learning cannot handle differences in users' preferences, and requires data to train an image encoder. To overcome these limitations, we revisit relevance feedback, a classic technique for interactive retrieval systems, and propose an interactive CLIP-based image retrieval system with relevance feedback. Our retrieval system first executes the retrieval, collects each user's unique preferences through binary feedback, and returns images the user prefers. Even when users have various preferences, our retrieval system learns each user's preference through the feedback and adapts to the preference. Moreover, our retrieval system leverages CLIP's zero-shot transferability and achieves high accuracy without training. We empirically show that our retrieval system competes well with state-of-the-art metric learning in category-based image retrieval, despite not training image encoders specifically for each dataset. Furthermore, we set up two additional experimental settings where users have various preferences: one-label-based image retrieval and conditioned image retrieval. In both cases, our retrieval system effectively adapts to each user's preferences, resulting in improved accuracy compared to image retrieval without feedback. Overall, our work highlights the potential benefits of integrating CLIP with classic relevance feedback techniques to enhance image retrieval.
• Abstract（参考訳）: 多くの画像検索研究では、メトリック学習を用いて画像エンコーダを訓練している。 しかし、メトリック学習はユーザの好みの違いに対処できず、画像エンコーダのトレーニングにデータを必要とする。 これらの制限を克服するため、インタラクティブ検索システムにおける古典的な手法である関連フィードバックを再検討し、関連フィードバックを用いた対話型CLIPベースの画像検索システムを提案する。 検索システムはまず検索を実行し、各ユーザの独自の好みをバイナリフィードバックで収集し、ユーザが好む画像を返す。 ユーザの好みが多様であっても,検索システムはフィードバックを通じてユーザの好みを学習し,好みに適応する。 さらに,本システムでは,CLIPのゼロショット転送性を活用し,トレーニングなしで高い精度を実現する。 検索システムは,各データセットに特化して画像エンコーダを訓練していないにもかかわらず,カテゴリベース画像検索において最先端のメトリック学習とよく競合することを示す。 さらに,1ラベルによる画像検索と条件付き画像検索の2つの実験環境を設定した。 いずれの場合も,検索システムはユーザの好みに効果的に対応し,フィードバックのない画像検索と比較して精度が向上する。 全体としては、画像検索を改善するためにCLIPと古典的関連フィードバック技術を統合することの潜在的な利点を強調している。

関連論文リスト

• Optimizing CLIP Models for Image Retrieval with Maintained Joint-Embedding Alignment [0.7499722271664144]
  Contrastive Language and Image Pairing (CLIP) はマルチメディア検索における変換手法である。 CLIPは通常、2つのニューラルネットワークを同時にトレーニングし、テキストとイメージペアのジョイント埋め込みを生成する。 本稿では,様々な画像に基づく類似性検索シナリオに対して,CLIPモデルを最適化するという課題に対処する。
  論文  参考訳（メタデータ） (2024-09-03T14:33:01Z)
• Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-27T12:59:35Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback [5.770351255180495]
  Image Retrieval with Relevance Feedback (IRRF) は、検索プロセス中に反復的なヒューマンインタラクションを伴う。 本稿では,タスクに適したハイパーネットワークに基づく新しいスキームを提案し,ユーザフィードバックの迅速な調整を容易にする。 提案手法は,数発の1クラス分類でSoTAを達成でき,数発のオープンセット認識のバイナリ分類タスクで同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-18T10:20:28Z)
• RAFIC: Retrieval-Augmented Few-shot Image Classification [0.0]
  少ないショット画像分類は、見えない画像を互いに排他的なクラスに分類するタスクである。 我々は,検索した画像の付加集合を用いて,Kの集合を増大させる手法を開発した。 我々は,RAFICが2つの挑戦的データセットをまたいだ数ショット画像分類の性能を著しく向上させることを実証した。
  論文  参考訳（メタデータ） (2023-12-11T22:28:51Z)
• Image Aesthetics Assessment via Learnable Queries [59.313054821874864]
  本稿では,IAA-LQを用いた画像美学評価手法を提案する。 フリーズされた画像エンコーダから得られた事前訓練された画像特徴から、学習可能なクエリを適応して美的特徴を抽出する。 実世界のデータに関する実験では、IAA-LQの利点が示され、SRCCとPLCCでそれぞれ2.2%、そして2.1%が最先端の手法に勝っている。
  論文  参考訳（メタデータ） (2023-09-06T09:42:16Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• FaIRCoP: Facial Image Retrieval using Contrastive Personalization [43.293482565385055]
  属性から顔画像を取得することは、顔認識や被疑者識別などの様々なシステムにおいて重要な役割を果たす。 既存の方法は、ユーザのメンタルイメージの特定の特徴を、提案した画像と比較することで実現している。 そこで本研究では,ユーザのフィードバックを用いて,対象画像と類似あるいは異な画像とラベル付けする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-28T09:52:09Z)
• Where Does the Performance Improvement Come From? - A Reproducibility Concern about Image-Text Retrieval [85.03655458677295]
  画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。 まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。 本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
  論文  参考訳（メタデータ） (2022-03-08T05:01:43Z)
• Contextual Similarity Aggregation with Self-attention for Visual Re-ranking [96.55393026011811]
  本稿では,自己注意を伴う文脈的類似性集約による視覚的再ランク付け手法を提案する。 提案手法の汎用性と有効性を示すため,4つのベンチマークデータセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2021-10-26T06:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。