論文の概要: Intra-Modal Constraint Loss For Image-Text Retrieval

• arxiv url: http://arxiv.org/abs/2207.05024v1
• Date: Mon, 11 Jul 2022 17:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 15:40:23.679444
• Title: Intra-Modal Constraint Loss For Image-Text Retrieval
• Title（参考訳）: 画像テキスト検索のためのモード内制約損失
• Authors: Jianan Chen, Lu Zhang, Qiong Wang, Cong Bai, Kidiyo Kpalma
• Abstract要約: クロスモーダル検索はコンピュータビジョンと自然言語処理領域に大きな注目を集めている。 畳み込みと繰り返しのニューラルネットワークの開発により、画像-テキストモダリティ間の検索のボトルネックは、もはや画像とテキストの特徴の抽出ではなく、埋め込み空間における効率的な損失関数学習である。 本稿では,画像とテキストの結合埋め込みをモダル内制約損失関数を用いて学習し,同じ均一なモードから負対の違反を低減する方法を提案する。
• 参考スコア（独自算出の注目度）: 10.496611712280972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-modal retrieval has drawn much attention in both computer vision and natural language processing domains. With the development of convolutional and recurrent neural networks, the bottleneck of retrieval across image-text modalities is no longer the extraction of image and text features but an efficient loss function learning in embedding space. Many loss functions try to closer pairwise features from heterogeneous modalities. This paper proposes a method for learning joint embedding of images and texts using an intra-modal constraint loss function to reduce the violation of negative pairs from the same homogeneous modality. Experimental results show that our approach outperforms state-of-the-art bi-directional image-text retrieval methods on Flickr30K and Microsoft COCO datasets. Our code is publicly available: https://github.com/CanonChen/IMC.
• Abstract（参考訳）: クロスモーダル検索はコンピュータビジョンと自然言語処理領域の両方で注目を集めている。 畳み込みと繰り返しのニューラルネットワークの開発により、画像-テキストモダリティ間の検索のボトルネックはもはや画像とテキストの特徴の抽出ではなく、埋め込み空間における効率的な損失関数学習である。 多くの損失関数は不均一なモジュラリティからペアワイズな特徴に近づこうとする。 本稿では,画像とテキストの結合埋め込みをモダル内制約損失関数を用いて学習し,同じ均一なモードから負対の違反を低減する方法を提案する。 実験の結果,Flickr30KおよびMicrosoft COCOデータセット上で,最先端の双方向画像テキスト検索手法よりも優れていた。 私たちのコードは、https://github.com/CanonChen/IMC.comで公開されています。

関連論文リスト

• The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses [0.35898124827270983]
  本稿では,2つの損失関数の新たな組み合わせであるフェイク・ツー・フェイク・ツー・フェイク・フェイク・ロスと,フェイク・トゥ・リアル・ロスの対比学習手法を提案する。 このアプローチをSSAGANとAttnGANの2つのベースラインモデルで検証する。 提案手法は,CUBデータセットのスタイルブロックを用いて,AttnGANの定性的な結果を改善することを示す。
  論文  参考訳（メタデータ） (2023-12-18T00:05:28Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• {\mu}Split: efficient image decomposition for microscopy data [50.794670705085835]
  muSplitは、蛍光顕微鏡画像の文脈で訓練された画像分解のための専用アプローチである。 本稿では,大規模な画像コンテキストのメモリ効率向上を実現するメタアーキテクチャである横型文脈化(LC)を提案する。 muSplitを5つの分解タスクに適用し、1つは合成データセットに、もう4つは実際の顕微鏡データから導出する。
  論文  参考訳（メタデータ） (2022-11-23T11:26:24Z)
• ALADIN: Distilling Fine-grained Alignment Scores for Efficient Image-Text Matching and Retrieval [51.588385824875886]
  クロスモーダル検索は、与えられたクエリテキストまたはバイヴァーサに関連する画像を見つけることで構成される。 近年の多くの手法が画像テキストマッチング問題に対する効果的な解法を提案しており、主に近年の大規模視覚言語(VL)トランスフォーマーネットワークを用いている。 本稿では,有効性と効率のギャップを埋めるため,ALADIN(ALign And Distill Network)を提案する。
  論文  参考訳（メタデータ） (2022-07-29T16:01:48Z)
• Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
  本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。 本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
  論文  参考訳（メタデータ） (2021-10-17T17:28:04Z)
• The Spatially-Correlative Loss for Various Image Translation Tasks [69.62228639870114]
  シーン構造の一貫性を保つために、シンプルで効率的かつ効果的な新しい空間相関損失を提案します。 以前の方法は、ピクセルレベルのサイクル一貫性または特徴レベルのマッチング損失を使用してこれを試みます。 I2I翻訳の3つのモードすべてにおいて,ベースラインモデルに対して,単一モーダル,マルチモーダル,さらには単一イメージ翻訳において,明確な改善が見られた。
  論文  参考訳（メタデータ） (2021-04-02T02:13:30Z)
• Cross-modal Image Retrieval with Deep Mutual Information Maximization [14.778158582349137]
  本研究では,入力にソース画像を含むクロスモーダル画像検索と,その画像と所望の画像の修正を記述したテキストについて検討する。 本手法は, テキストモダリティと画像モダリティのモダリティギャップを狭め, 意味的には同一でない表現間の相互情報を最大化する。
  論文  参考訳（メタデータ） (2021-03-10T13:08:09Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Improving Text to Image Generation using Mode-seeking Function [5.92166950884028]
  異なる画像を生成するための特別なモード探索損失関数を開発する。 われわれのモデルは、Caltech BirdsデータセットとMicrosoft COCOデータセットで検証する。 実験結果から,我々のモデルは最先端のアプローチと比較して非常によく機能することが示された。
  論文  参考訳（メタデータ） (2020-08-19T12:58:32Z)
• Fine-grained Visual Textual Alignment for Cross-Modal Retrieval using Transformer Encoders [14.634046503477979]
  本稿ではTransformer Reasoning and Alignment Network(TERAN)という新しいアプローチを提案する。 TERANは、画像と文の基礎となるコンポーネント間のきめ細かい一致を強制する。 MS-COCO 1Kテストセットでは,画像と文検索タスクでそれぞれ5.7%と3.5%の改善が得られた。
  論文  参考訳（メタデータ） (2020-08-12T11:02:40Z)
• Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
  既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。 本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。 我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
  論文  参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。