論文の概要: Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval

• arxiv url: http://arxiv.org/abs/2108.02417v1
• Date: Thu, 5 Aug 2021 07:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 22:34:20.462954
• Title: Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval
• Title（参考訳）: 画像文検索のための構造的マルチモーダル特徴埋め込みとアライメント
• Authors: Xuri Ge, Fuhai Chen, Joemon M. Jose, Zhilong Ji, Zhongqin Wu, Xiao Liu
• Abstract要約: 現在の最先端画像文検索手法は、視覚的テクスチャの断片を暗黙的に整列させる。 画像文検索のための構造的マルチモーダル特徴埋め込みとアライメントモデルを提案する。 特に、ビジュアルコンテキスト対応構造化木エンコーダ(VCS-Tree)とテキストコンテキスト対応構造化木エンコーダ(TCS-Tree)を共有ラベルで構築することにより、視覚的およびテキスト的フラグメントの関係をモデル化する。
• 参考スコア（独自算出の注目度）: 12.050958976545914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current state-of-the-art image-sentence retrieval methods implicitly align the visual-textual fragments, like regions in images and words in sentences, and adopt attention modules to highlight the relevance of cross-modal semantic correspondences. However, the retrieval performance remains unsatisfactory due to a lack of consistent representation in both semantics and structural spaces. In this work, we propose to address the above issue from two aspects: (i) constructing intrinsic structure (along with relations) among the fragments of respective modalities, e.g., "dog $\to$ play $\to$ ball" in semantic structure for an image, and (ii) seeking explicit inter-modal structural and semantic correspondence between the visual and textual modalities. In this paper, we propose a novel Structured Multi-modal Feature Embedding and Alignment (SMFEA) model for image-sentence retrieval. In order to jointly and explicitly learn the visual-textual embedding and the cross-modal alignment, SMFEA creates a novel multi-modal structured module with a shared context-aware referral tree. In particular, the relations of the visual and textual fragments are modeled by constructing Visual Context-aware Structured Tree encoder (VCS-Tree) and Textual Context-aware Structured Tree encoder (TCS-Tree) with shared labels, from which visual and textual features can be jointly learned and optimized. We utilize the multi-modal tree structure to explicitly align the heterogeneous image-sentence data by maximizing the semantic and structural similarity between corresponding inter-modal tree nodes. Extensive experiments on Microsoft COCO and Flickr30K benchmarks demonstrate the superiority of the proposed model in comparison to the state-of-the-art methods.
• Abstract（参考訳）: 本手法は,画像の領域や文中の単語などの視覚文の断片を暗黙的に整列させ,クロスモーダル意味対応の関連性を強調するために注意モジュールを採用する。 しかし,セマンティクスと構造空間の両方における一貫した表現の欠如により,検索性能は満足できないままであった。 本研究では, 画像の意味的構造における「dog $\to$ play $\to$ ball」や, (ii) 視覚的・テキスト的モダリティ間の明示的なモーダル間構造と意味的対応を求める2つの側面から, 上記の課題に対処することを提案する。 本稿では,画像文検索のための構造化多モード特徴埋め込み・アライメント(SMFEA)モデルを提案する。 視覚-テクスチャ埋め込みとクロスモーダルアライメントを共同で、明示的に学習するために、SMFEAは、共有コンテキスト対応の参照ツリーを持つ新しいマルチモーダル構造化モジュールを作成する。 特に、ビジュアルコンテキスト対応構造化木エンコーダ(VCS-Tree)とテキストコンテキスト対応構造化木エンコーダ(TCS-Tree)を共有ラベルで構築することにより、視覚的特徴とテキスト的特徴の関係をモデル化する。 我々はマルチモーダルツリー構造を用いて、対応するモーダルツリーノード間の意味的および構造的類似性を最大化することにより、異種画像文データを明示的に調整する。 microsoft coco と flickr30k ベンチマークに関する広範な実験は、最先端の手法と比較して提案モデルが優れていることを示している。

関連論文リスト

• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Hire: Hybrid-modal Interaction with Multiple Relational Enhancements for Image-Text Matching [7.7559623054251]
  画像テキストマッチング(ITM)はコンピュータビジョンの基本的な問題である。 画像テキストマッチングのためのマルチエンハンスメント(termed textitHire)を用いたハイブリッドモーダル機能を提案する。 特に、明示的なモーダル空間意味グラフに基づく推論ネットワークは、視覚オブジェクトの文脈表現を改善するために設計されている。
  論文  参考訳（メタデータ） (2024-06-05T13:10:55Z)
• Cross-Modal Adaptive Dual Association for Text-to-Image Person Retrieval [32.793170116202475]
  画像・テキスト・アソシエーションとテキスト・ツー・イメージ・アソシエーションの相違について述べる。 CADA:クロスモーダル・アダプティブ・デュアル・アソシエーション(CADA: Cross-Modal Adaptive Dual Association)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T09:10:24Z)
• Progressive Tree-Structured Prototype Network for End-to-End Image Captioning [74.8547752611337]
  本稿では,新しいプログレッシブツリー構造型プロトタイプネットワーク(PTSN)を提案する。 PTSNは、階層的テキスト意味論をモデル化することによって、適切な意味論で予測語の範囲を狭める最初の試みである。 提案手法は,144.2%(シングルモデル),146.5%(4モデルのアンサンブル),141.4%(c5),143.9%(c40)のCIDErを公式オンラインテストサーバ上でスコアする。
  論文  参考訳（メタデータ） (2022-11-17T11:04:00Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
  CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。 本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
  論文  参考訳（メタデータ） (2022-07-09T07:14:44Z)
• Finding Structural Knowledge in Multimodal-BERT [18.469318775468754]
  画像を記述する文の係り受け解析によって言語と視覚の固有の構造を明示する。 我々は、この明示的な視覚構造を、言語記述の依存性木に基づくテクスタイセンツリーと呼んでいる。
  論文  参考訳（メタデータ） (2022-03-17T13:20:01Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Linguistic Structure Guided Context Modeling for Referring Image Segmentation [61.701577239317785]
  本稿では,マルチモーダルコンテキストを相互モーダル相互作用によりモデル化する「ガザ・プロパゲート・ディストリビュート」方式を提案する。 我々のLSCMモジュールは依存パーシングツリーワードグラフ(DPT-WG)を構築し、文の有効なマルチモーダルコンテキストを含むようにすべての単語を誘導する。
  論文  参考訳（メタデータ） (2020-10-01T16:03:51Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。