論文の概要: Semantic-Preserving Augmentation for Robust Image-Text Retrieval

• arxiv url: http://arxiv.org/abs/2303.05692v1
• Date: Fri, 10 Mar 2023 03:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 16:06:26.102512
• Title: Semantic-Preserving Augmentation for Robust Image-Text Retrieval
• Title（参考訳）: ロバスト画像検索のための意味保存強化
• Authors: Sunwoo Kim, Kyuhong Shim, Luong Trung Nguyen, and Byonghyo Shim
• Abstract要約: RVSEは、画像のセマンティック保存強化(SPAugI)とテキスト(SPAugT)という、新しい画像ベースおよびテキストベースの拡張技術からなる。 SPAugIとSPAugTは、その意味情報が保存されるように元のデータを変更するため、特徴抽出器を強制して意味を意識した埋め込みベクトルを生成する。 ベンチマークデータセットを用いた広範囲な実験から、RVSEは画像テキスト検索性能において従来の検索手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 27.2916415148638
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Image text retrieval is a task to search for the proper textual descriptions of the visual world and vice versa. One challenge of this task is the vulnerability to input image and text corruptions. Such corruptions are often unobserved during the training, and degrade the retrieval model decision quality substantially. In this paper, we propose a novel image text retrieval technique, referred to as robust visual semantic embedding (RVSE), which consists of novel image-based and text-based augmentation techniques called semantic preserving augmentation for image (SPAugI) and text (SPAugT). Since SPAugI and SPAugT change the original data in a way that its semantic information is preserved, we enforce the feature extractors to generate semantic aware embedding vectors regardless of the corruption, improving the model robustness significantly. From extensive experiments using benchmark datasets, we show that RVSE outperforms conventional retrieval schemes in terms of image-text retrieval performance.
• Abstract（参考訳）: 画像テキスト検索は、視覚世界の適切なテキスト記述を検索するタスクであり、その逆である。 このタスクの1つの課題は、画像とテキストの破損を入力する脆弱性である。 このような汚職はしばしば訓練中に観測されず、検索モデル決定品質を著しく低下させる。 本稿では,画像のセマンティック保存強化(SPAugI)とテキスト(SPAugT)という,新しい画像ベースおよびテキストベースの拡張技術からなる,堅牢な視覚的セマンティック埋め込み(RVSE)と呼ばれる新しい画像テキスト検索手法を提案する。 SPAugIとSPAugTは、その意味情報が保存されるように元のデータを変更するため、我々は特徴抽出器を強制して、腐敗に関係なく意味を意識した埋め込みベクトルを生成し、モデルの堅牢性を大幅に向上させる。 ベンチマークデータセットを用いた広範囲な実験から,rvseは従来の検索方式よりも画像テキスト検索性能が優れていることを示す。

関連論文リスト

• Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
  名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。 ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。 我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2024-07-26T07:30:41Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• Benchmarking Robustness of Text-Image Composed Retrieval [46.98557472744255]
  テキスト画像合成検索は、合成されたクエリを通してターゲット画像を取得することを目的としている。 近年,情報に富む画像と簡潔な言語の両方を活用する能力に注目が集まっている。 しかし、現実世界の腐敗やさらなるテキスト理解に対するこれらのアプローチの堅牢性は研究されていない。
  論文  参考訳（メタデータ） (2023-11-24T20:16:38Z)
• Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
  テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。 本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-18T08:23:46Z)
• Efficient Token-Guided Image-Text Retrieval with Consistent Multimodal Contrastive Training [33.78990448307792]
  画像テキスト検索は、視覚と言語間の意味的関係を理解するための中心的な問題である。 以前の作品では、全体像とテキストの粗い粒度の表現を単に学習するか、画像領域またはピクセルとテキストワードの対応を精巧に確立する。 本研究では、粗い表現学習ときめ細かい表現学習を統一した枠組みに組み合わせて、新しい視点から画像テキストの検索を行う。
  論文  参考訳（メタデータ） (2023-06-15T00:19:13Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)
• Revising Image-Text Retrieval via Multi-Modal Entailment [25.988058843564335]
  多対多のマッチング現象は、広く使われている画像テキスト検索データセットで非常によく見られる。 文が画像と関連キャプションによって関連付けられているかどうかを判定するマルチモーダル・エンターメント分類器を提案する。
  論文  参考訳（メタデータ） (2022-08-22T07:58:54Z)
• BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
  CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。 本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
  論文  参考訳（メタデータ） (2022-07-09T07:14:44Z)
• Where Does the Performance Improvement Come From? - A Reproducibility Concern about Image-Text Retrieval [85.03655458677295]
  画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。 まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。 本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
  論文  参考訳（メタデータ） (2022-03-08T05:01:43Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)
• Fine-grained Image Classification and Retrieval by Combining Visual and Locally Pooled Textual Features [8.317191999275536]
  特に、テキストの存在は、コンピュータビジョンタスクの多様性に対処するために使用されるべき強力なガイドコンテンツを提供する。 本稿では,テキスト情報と視覚的手がかりを併用した細粒度分類と画像検索の課題に対処し,両者の本質的な関係を解明する。
  論文  参考訳（メタデータ） (2020-01-14T12:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。