論文の概要: Pseudo-triplet Guided Few-shot Composed Image Retrieval

• arxiv url: http://arxiv.org/abs/2407.06001v2
• Date: Tue, 12 Nov 2024 15:14:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:16:24.444715
• Title: Pseudo-triplet Guided Few-shot Composed Image Retrieval
• Title（参考訳）: Pseudo-triplet Guided Few-shot Composed Image Retrieval
• Authors: Bohan Hou, Haoqiang Lin, Haokun Wen, Meng Liu, Mingzhu Xu, Xuemeng Song,
• Abstract要約: Composed Image Retrieval (CIR)は、マルチモーダルクエリでターゲット画像を取得することを目的とした課題である。 PTG-FSCIRと呼ばれる2段階の擬似三重項誘導方式を提案する。 最初の段階では、純画像データから擬似三重項を生成するために、注意型マスキングとキャプションに基づく擬似三重項生成法を提案する。 第2段階では,3重項に基づく挑戦的CIR微調整法を提案し,擬似修正テキストに基づくサンプルの挑戦的スコア推定戦略を設計する。
• 参考スコア（独自算出の注目度）: 20.040511832864503
• License:
• Abstract: Composed Image Retrieval (CIR) is a challenging task that aims to retrieve the target image with a multimodal query, i.e., a reference image, and its complementary modification text. As previous supervised or zero-shot learning paradigms all fail to strike a good trade-off between the model's generalization ability and retrieval performance, recent researchers have introduced the task of few-shot CIR (FS-CIR) and proposed a textual inversion-based network based on pretrained CLIP model to realize it. Despite its promising performance, the approach encounters two key limitations: simply relying on the few annotated samples for CIR model training and indiscriminately selecting training triplets for CIR model fine-tuning. To address these two limitations, we propose a novel two-stage pseudo triplet guided few-shot CIR scheme, dubbed PTG-FSCIR. In the first stage, we propose an attentive masking and captioning-based pseudo triplet generation method, to construct pseudo triplets from pure image data and use them to fulfill the CIR-task specific pertaining. In the second stage, we propose a challenging triplet-based CIR fine-tuning method, where we design a pseudo modification text-based sample challenging score estimation strategy and a robust top range-based random sampling strategy for sampling robust challenging triplets to promote the model fine-tuning. Notably, our scheme is plug-and-play and compatible with any existing supervised CIR models. We test our scheme across two backbones on three public datasets (i.e., FashionIQ, CIRR, and Birds-to-Words), achieving maximum improvements of 13.3%, 22.2%, and 17.4% respectively, demonstrating our scheme's efficacy.
• Abstract（参考訳）: Composed Image Retrieval (CIR) は、マルチモーダルなクエリ、すなわち参照画像とその補完的な修正テキストでターゲットイメージを検索することを目的とした課題である。 従来の教師付き学習パラダイムやゼロショット学習パラダイムはすべて、モデルの一般化能力と検索性能の良好なトレードオフを達成できないため、最近の研究者は、いくつかのショットCIR(FS-CIR)のタスクを導入し、事前訓練されたCLIPモデルに基づくテキストインバージョンベースのネットワークを提案している。 その有望な性能にもかかわらず、このアプローチには2つの重要な制限がある。単にCIRモデルのトレーニングに注釈付きサンプルを頼りにすることと、CIRモデルの微調整のためのトレーニング三つ子を無差別に選択することである。 これら2つの制約に対処するため,PTG-FSCIRと呼ばれる2段階の擬似三重項誘導方式を提案する。 第1段階では、純画像データから擬似三重項を合成し、それらを用いて、CIR-taskに関する特定の条件を満たすため、注意型マスキングとキャプションに基づく擬似三重項生成法を提案する。 第2段階では,三重項に基づく挑戦的 CIR 微調整手法を提案し,擬似修正テキストベースのサンプルを用いた挑戦的スコア推定戦略と,頑健な挑戦的三重項をサンプリングしてモデル微調整を促進する頑健なトップレンジに基づくランダムサンプリング戦略を設計する。 特に、我々の方式はプラグアンドプレイであり、既存の教師付きCIRモデルと互換性がある。 我々は3つの公開データセット(FashionIQ、CIRR、Birds-to-Words)で2つのバックボーンでこのスキームをテストし、最大13.3%、22.2%、および17.4%の改善を実現し、このスキームの有効性を実証した。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• MoTaDual: Modality-Task Dual Alignment for Enhanced Zero-shot Composed Image Retrieval [20.612534837883892]
  Composed Image Retrieval (CIR) は、ターゲット画像の検索にバイモーダル(image+text)クエリを利用する、難しい視覚言語タスクである。 本稿では,両者の相違に対処するための2段階の枠組みを提案する。 MoTaDualは、トレーニング時間と計算コストを低く保ちながら、4つの広く使用されているZS-CIRベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-31T08:49:05Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
  Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。 現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T21:00:22Z)
• Advancing Image Retrieval with Few-Shot Learning and Relevance Feedback [5.770351255180495]
  Image Retrieval with Relevance Feedback (IRRF) は、検索プロセス中に反復的なヒューマンインタラクションを伴う。 本稿では,タスクに適したハイパーネットワークに基づく新しいスキームを提案し,ユーザフィードバックの迅速な調整を容易にする。 提案手法は,数発の1クラス分類でSoTAを達成でき,数発のオープンセット認識のバイナリ分類タスクで同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-18T10:20:28Z)
• Pretrain like Your Inference: Masked Tuning Improves Zero-Shot Composed Image Retrieval [17.70430913227593]
  本稿では,事前学習されたモデルと下流CIRタスクとのギャップを低減するために,未ラベルで事前学習したマスク付きチューニング手法を提案する。 このようなシンプルな設計で、きめ細かいテキスト誘導の修正を捉えることができる。
  論文  参考訳（メタデータ） (2023-11-13T02:49:57Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Pic2Word: Mapping Pictures to Words for Zero-shot Composed Image Retrieval [84.11127588805138]
  Composed Image Retrieval (CIR)は、クエリイメージとテキストを組み合わせて、対象とするターゲットを記述する。 既存の方法は、クエリ画像、テキスト仕様、ターゲット画像からなるラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 我々は,ラベル付き三重項学習を必要とせずにCIRモデルを構築することを目的として,Zero-Shot Composed Image Retrieval (ZS-CIR)を提案する。
  論文  参考訳（メタデータ） (2023-02-06T19:40:04Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。