論文の概要: Consensus-Aware Visual-Semantic Embedding for Image-Text Matching

• arxiv url: http://arxiv.org/abs/2007.08883v2
• Date: Mon, 1 Feb 2021 12:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 14:05:35.314989
• Title: Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
• Title（参考訳）: 画像テキストマッチングのためのコンセンサス対応ビジュアルセマンティック埋め込み
• Authors: Haoran Wang, Ying Zhang, Zhong Ji, Yanwei Pang, Lin Ma
• Abstract要約: 画像テキストマッチングは、視覚と言語をブリッジする上で中心的な役割を果たす。 既存のアプローチのほとんどは、表現を学ぶためにイメージテキストインスタンスペアのみに依存しています。 コンセンサスを意識したビジュアル・セマンティック・エンベディングモデルを提案し,コンセンサス情報を組み込む。
• 参考スコア（独自算出の注目度）: 69.34076386926984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-text matching plays a central role in bridging vision and language. Most existing approaches only rely on the image-text instance pair to learn their representations, thereby exploiting their matching relationships and making the corresponding alignments. Such approaches only exploit the superficial associations contained in the instance pairwise data, with no consideration of any external commonsense knowledge, which may hinder their capabilities to reason the higher-level relationships between image and text. In this paper, we propose a Consensus-aware Visual-Semantic Embedding (CVSE) model to incorporate the consensus information, namely the commonsense knowledge shared between both modalities, into image-text matching. Specifically, the consensus information is exploited by computing the statistical co-occurrence correlations between the semantic concepts from the image captioning corpus and deploying the constructed concept correlation graph to yield the consensus-aware concept (CAC) representations. Afterwards, CVSE learns the associations and alignments between image and text based on the exploited consensus as well as the instance-level representations for both modalities. Extensive experiments conducted on two public datasets verify that the exploited consensus makes significant contributions to constructing more meaningful visual-semantic embeddings, with the superior performances over the state-of-the-art approaches on the bidirectional image and text retrieval task. Our code of this paper is available at: https://github.com/BruceW91/CVSE.
• Abstract（参考訳）: イメージテキストマッチングは、ビジョンと言語を橋渡しする上で中心的な役割を果たす。 既存のほとんどのアプローチは、画像とテキストのインスタンスペアにのみ依存して表現を学習し、一致した関係を利用し、対応するアライメントを作成する。 このようなアプローチは、画像とテキストの間の高レベルな関係を推論する能力を妨げかねない外部の常識知識を考慮せずに、インスタンスのペアデータに含まれる表面的関連のみを利用する。 本稿では,両モード間で共有されるコモンセンス知識を画像テキストマッチングに組み込むために,コンセンサス対応のビジュアル・セマンティック・エンベディング(CVSE)モデルを提案する。 具体的には、イメージキャプションコーパスからの意味概念間の統計的共起相関を計算し、構成された概念相関グラフを配置することにより、コンセンサス対応の概念(CAC)表現を生成する。 その後、CVSEは、悪用されたコンセンサスと両方のモダリティのインスタンスレベルの表現に基づいて、画像とテキストの関連とアライメントを学習する。 2つの公開データセットで実施された広範囲な実験により、エクスプロイトされたコンセンサスは、双方向画像およびテキスト検索タスクにおける最先端のアプローチよりも優れたパフォーマンスで、より有意義な視覚意味埋め込みの構築に重要な貢献をしていることを検証した。 この論文のコードは、https://github.com/brucew91/cvseで入手できる。

関連論文リスト

• Dual Relation Alignment for Composed Image Retrieval [24.812654620141778]
  合成画像検索における2種類の関係性の存在を論じる。 明示的な関係は、参照画像と補完テキストターゲット画像に関連する。 本稿では,合成画像検索のための新たな枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:16:14Z)
• Efficient Token-Guided Image-Text Retrieval with Consistent Multimodal Contrastive Training [33.78990448307792]
  画像テキスト検索は、視覚と言語間の意味的関係を理解するための中心的な問題である。 以前の作品では、全体像とテキストの粗い粒度の表現を単に学習するか、画像領域またはピクセルとテキストワードの対応を精巧に確立する。 本研究では、粗い表現学習ときめ細かい表現学習を統一した枠組みに組み合わせて、新しい視点から画像テキストの検索を行う。
  論文  参考訳（メタデータ） (2023-06-15T00:19:13Z)
• Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
  我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。 Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。 ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
  論文  参考訳（メタデータ） (2023-06-03T11:50:44Z)
• Cross-modal Semantic Enhanced Interaction for Image-Sentence Retrieval [8.855547063009828]
  本稿では、画像文検索のためのCMSEIと呼ばれるクロスモーダル・セマンティック・エンハンスメント・インタラクション手法を提案する。 まず、オブジェクトの意味表現を強化するために、モーダル内およびモーダル間空間および意味グラフに基づく推論を設計する。 オブジェクトのコンテキストとテキストのコンテキストを関連付けるために,クロスレベルなオブジェクト文と単語画像に基づく対話的注意による視覚的意味表現をさらに洗練する。
  論文  参考訳（メタデータ） (2022-10-17T10:01:16Z)
• CODER: Coupled Diversity-Sensitive Momentum Contrastive Learning for Image-Text Retrieval [108.48540976175457]
  クロスモーダル表現を改善するために,共用ダイバーシティ・センシティブ・モーメント・コンストラシティブ・ラーニング(CODER)を提案する。 両モードの動的辞書を導入し、画像テキストペアのスケールを拡大し、適応的な負のペア重み付けにより多様性に敏感性を実現する。 MSCOCOとFlicker30Kという2つの人気のあるベンチマークで実施された実験は、CODERが最先端のアプローチを著しく上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-08-21T08:37:50Z)
• Two-stream Hierarchical Similarity Reasoning for Image-text Matching [66.43071159630006]
  文脈情報を自動的に抽出する階層的類似性推論モジュールを提案する。 従来のアプローチでは、シングルストリームの類似性アライメントを学習することしか検討されていなかった。 イメージ・ツー・テキスト・レベルの類似性計算とテキスト・ツー・テキスト・レベルの類似性計算に画像・テキストマッチングを分解する2ストリームアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2022-03-10T12:56:10Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Exploring Semantic Relationships for Unpaired Image Captioning [40.401322131624866]
  視覚領域と言語領域を高レベルな意味情報でブリッジすることで、不適切な画像キャプションを実現する。 画像の理解を深めるため,セマンティック・リレーション・エクスプローラーを提案する。 提案手法は,CIDErのスコアが8%に向上したペア設定下で,5つの強いベースラインを向上する。
  論文  参考訳（メタデータ） (2021-06-20T09:10:11Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。