論文の概要: Zero-shot Composed Text-Image Retrieval

• arxiv url: http://arxiv.org/abs/2306.07272v1
• Date: Mon, 12 Jun 2023 17:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 13:21:44.701211
• Title: Zero-shot Composed Text-Image Retrieval
• Title（参考訳）: ゼロショット合成テキスト画像検索
• Authors: Yikun Liu and Jiangchao Yao and Ya Zhang and Yanfeng Wang and Weidi Xie
• Abstract要約: 合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
• 参考スコア（独自算出の注目度）: 44.18723866630441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the problem of composed image retrieval (CIR), it aims to train a model that can fuse multi-modal information, e.g., text and images, to accurately retrieve images that match the query, extending the user's expression ability. We make the following contributions: (i) we initiate a scalable pipeline to automatically construct datasets for training CIR model, by simply exploiting a large-scale dataset of image-text pairs, e.g., a subset of LAION-5B; (ii) we introduce a transformer-based adaptive aggregation model, TransAgg, which employs a simple yet efficient fusion mechanism, to adaptively combine information from diverse modalities; (iii) we conduct extensive ablation studies to investigate the usefulness of our proposed data construction procedure, and the effectiveness of core components in TransAgg; (iv) when evaluating on the publicly available benckmarks under the zero-shot scenario, i.e., training on the automatically constructed datasets, then directly conduct inference on target downstream datasets, e.g., CIRR and FashionIQ, our proposed approach either performs on par with or significantly outperforms the existing state-of-the-art (SOTA) models. Project page: https://code-kunkun.github.io/ZS-CIR/
• Abstract（参考訳）: 本稿では,合成画像検索(CIR)の問題を考えるとともに,テキストや画像などのマルチモーダル情報を融合し,クエリにマッチする画像を正確に検索し,ユーザの表現能力を拡張できるモデルを訓練することを目的とする。 私たちは次のような貢献をします i) LAION-5Bのサブセットなど、画像テキストペアの大規模データセットを単純に活用することで、CIRモデルをトレーニングするためのデータセットを自動的に構築するスケーラブルなパイプラインを開始する。 二) 単純かつ効率的な融合機構を用いたトランスフォーマティブ・アダプティブ・アグリゲーション・モデルであるtransaggを導入し、多様なモダリティからの情報を適応的に結合する。 iii)我々は,提案するデータ構築手法の有用性とtransaggにおけるコアコンポーネントの有効性を検討するため,広範なアブレーション研究を行っている。 (iv)ゼロショットのシナリオ、すなわち自動構築されたデータセットのトレーニングに基づいて公開のbenckmarksを評価する場合、cirrやfashioniqといった下流のデータセットの推論を直接行う場合、提案手法は、既存のstate-of-the-art(sota)モデルと同等か、大幅に比較する。 プロジェクトページ: https://code-kun.github.io/ZS-CIR/

関連論文リスト

• Training-free Zero-shot Composed Image Retrieval via Weighted Modality Fusion and Similarity [2.724141845301679]
  合成画像検索(CIR)は、参照画像と修正テキストの組み合わせとしてクエリを定式化する。 本稿では,ZS-CIRのためのトレーニングフリーアプローチを提案する。 提案手法は単純で実装が容易であり,FashionIQおよびCIRRデータセットを用いた実験によりその有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-07T21:52:58Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning [1.6570772838074355]
  マルチモーダル大言語モデル(MLLM)は、チャート質問応答(CQA)に大きな可能性を示す 近年の取り組みは、データ収集と合成によるデータセットのスケールアップに重点を置いている。 本稿では,トレーニングデータセットの強化とモデル開発を指導するための,可視化参照型指導チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:04:34Z)
• Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
  Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。 現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T21:00:22Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Data Roaming and Quality Assessment for Composed Image Retrieval [25.452015862927766]
  Composed Image Retrieval (CoIR)は、画像とテキストのモダリティを組み合わせたクエリで、ユーザがより効果的にインテントを表現できるようにする。 我々は,既存のものより10倍大きい新しいCoIRデータセットであるLaSCoデータセットを紹介する。 また、新しいCoIRベースラインであるCASE(Cross-Attention driven Shift)も導入する。
  論文  参考訳（メタデータ） (2023-03-16T16:02:24Z)
• MOGAN: Morphologic-structure-aware Generative Learning from a Single Image [59.59698650663925]
  近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。 多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。 合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
  論文  参考訳（メタデータ） (2021-03-04T12:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。