論文の概要: Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval

• arxiv url: http://arxiv.org/abs/2002.10016v1
• Date: Sun, 23 Feb 2020 23:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:02:43.852239
• Title: Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval
• Title（参考訳）: 自動クロスメディア検索のための深層マルチモーダル画像テキスト埋め込み
• Authors: Hadi Abdi Khojasteh (1), Ebrahim Ansari (1 and 2), Parvin Razzaghi (1 and 3), Akbar Karimi (4) ((1) Institute for Advanced Studies in Basic Sciences (IASBS), Zanjan, Iran, (2) Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics, Charles University, Czechia, (3) Institute for Research in Fundamental Sciences (IPM), Tehran, Iran, (4) IMP Lab, Department of Engineering and Architecture, University of Parma, Parma, Italy)
• Abstract要約: 視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the task of matching images and sentences by learning a visual-textual embedding space for cross-modal retrieval. Finding such a space is a challenging task since the features and representations of text and image are not comparable. In this work, we introduce an end-to-end deep multimodal convolutional-recurrent network for learning both vision and language representations simultaneously to infer image-text similarity. The model learns which pairs are a match (positive) and which ones are a mismatch (negative) using a hinge-based triplet ranking. To learn about the joint representations, we leverage our newly extracted collection of tweets from Twitter. The main characteristic of our dataset is that the images and tweets are not standardized the same as the benchmarks. Furthermore, there can be a higher semantic correlation between the pictures and tweets contrary to benchmarks in which the descriptions are well-organized. Experimental results on MS-COCO benchmark dataset show that our model outperforms certain methods presented previously and has competitive performance compared to the state-of-the-art. The code and dataset have been made available publicly.
• Abstract（参考訳）: 本稿では,モーダル検索のための視覚テキスト埋め込み空間を学習し,画像と文をマッチングする作業について考察する。 このような空間を見つけることは、テキストと画像の特徴と表現が比較にならないため、難しい作業である。 本研究では,視覚と言語表現を同時に学習し,画像とテキストの類似性を推定する,エンドツーエンドの深層多モーダル畳み込み並列ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。 共同表現について学ぶために、Twitterから新たに抽出したツイートのコレクションを活用します。 データセットの主な特徴は、画像とツイートがベンチマークと同じ標準化されていないことである。 さらに、画像とつぶやきのセマンティックな相関関係は、その説明が適切に整理されているベンチマークとは対照的である。 MS-COCOベンチマークデータセットによる実験結果から,提案した手法は従来よりも優れ,最先端の手法と比較して競争性能が高いことがわかった。 コードとデータセットは公開されています。

関連論文リスト

• Image-Text Matching with Multi-View Attention [1.92360022393132]
  画像テキストマッチングのための既存の2ストリームモデルでは、検索速度を確保しながら良好な性能を示す。 2ストリーム画像テキストマッチングMVAM(textbfMulti-textbfView textbfAttention textbfModel)のためのマルチビューアテンションアプローチを提案する。 MSCOCO と Flickr30K の実験結果から,提案モデルが既存モデルよりも改良されていることが示された。
  論文  参考訳（メタデータ） (2024-02-27T06:11:54Z)
• Towards Better Multi-modal Keyphrase Generation via Visual Entity Enhancement and Multi-granularity Image Noise Filtering [79.44443231700201]
  マルチモーダルなキーフレーズ生成は、入力されたテキストイメージペアのコアポイントを表すキーフレーズのセットを作成することを目的としている。 入力されたテキストと画像はしばしば完全に一致しないので、画像はモデルにノイズをもたらす可能性がある。 本稿では,モデル入力を外部知識で豊かにするだけでなく,画像ノイズを効果的にフィルタする,新しいマルチモーダル・キーフレーズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-09T09:41:36Z)
• Rethinking Benchmarks for Cross-modal Image-text Retrieval [44.31783230767321]
  クロスモーダルな意味理解とマッチングは、画像テキスト検索において大きな課題である。 本稿では,2つの共通ベンチマークをレビューし,そのモデルが細粒度横断的セマンティックマッチングにおける真の能力を評価するには不十分であることを考察する。 本研究では, 粗粒度を細粒度に微粒化するための半自動改質手法を提案する。 その結果、最先端のモデルでさえ、きめ細かいセマンティック理解を改善する余地があることが判明した。
  論文  参考訳（メタデータ） (2023-04-21T09:07:57Z)
• Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification [5.960550152906609]
  視覚的および言語的類似性を共同で活用することで,ユーザコメントからヒントを抽出する。 分類タスクは教師-学生のフレームワークにおける自己学習を通じて探索され、通常はラベル付きデータスケールに動機づけられる。 その結果,提案手法は従来の最先端モデルの性能をさらに向上させることが示された。
  論文  参考訳（メタデータ） (2023-03-27T08:59:55Z)
• ALADIN: Distilling Fine-grained Alignment Scores for Efficient Image-Text Matching and Retrieval [51.588385824875886]
  クロスモーダル検索は、与えられたクエリテキストまたはバイヴァーサに関連する画像を見つけることで構成される。 近年の多くの手法が画像テキストマッチング問題に対する効果的な解法を提案しており、主に近年の大規模視覚言語(VL)トランスフォーマーネットワークを用いている。 本稿では,有効性と効率のギャップを埋めるため,ALADIN(ALign And Distill Network)を提案する。
  論文  参考訳（メタデータ） (2022-07-29T16:01:48Z)
• Two-stream Hierarchical Similarity Reasoning for Image-text Matching [66.43071159630006]
  文脈情報を自動的に抽出する階層的類似性推論モジュールを提案する。 従来のアプローチでは、シングルストリームの類似性アライメントを学習することしか検討されていなかった。 イメージ・ツー・テキスト・レベルの類似性計算とテキスト・ツー・テキスト・レベルの類似性計算に画像・テキストマッチングを分解する2ストリームアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2022-03-10T12:56:10Z)
• Is An Image Worth Five Sentences? A New Look into Semantics for Image-Text Matching [10.992151305603267]
  本稿では,検索項目の意味的関連度を評価するための2つの指標を提案する。 画像キャプションの指標であるCIDErを用いて,標準的な三重項損失に最適化されるセマンティック適応マージン(SAM)を定義する。
  論文  参考訳（メタデータ） (2021-10-06T09:54:28Z)
• Towards Efficient Cross-Modal Visual Textual Retrieval using Transformer-Encoder Deep Features [10.163477961551592]
  クロスモーダル検索は、現代の検索エンジンにおいて重要な機能である。 本稿では,画像文検索に焦点をあてる。 我々は最近導入されたTERNアーキテクチャを画像文特徴抽出器として利用する。
  論文  参考訳（メタデータ） (2021-06-01T10:11:46Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)
• Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
  本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。 数ショットの学習データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2020-02-29T08:37:02Z)
• Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
  既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。 本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。 我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
  論文  参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。