論文の概要: Advanced Multimodal Deep Learning Architecture for Image-Text Matching

• arxiv url: http://arxiv.org/abs/2406.15306v1
• Date: Thu, 13 Jun 2024 08:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 07:21:03.996982
• Title: Advanced Multimodal Deep Learning Architecture for Image-Text Matching
• Title（参考訳）: 画像テキストマッチングのための高度なマルチモーダルディープラーニングアーキテクチャ
• Authors: Jinyin Wang, Haijing Zhang, Yihao Zhong, Yingbin Liang, Rongwei Ji, Yiru Cang,
• Abstract要約: 画像テキストマッチングは、画像とテキスト間の意味的関連をマッチング関係としてモデル化することを目的とした、重要なマルチモーダルタスクである。 本稿では、視覚情報のための深層ニューラルネットワークの高レベル抽象表現能力と、テキスト意味理解のための自然言語処理モデルの利点を組み合わせた高度なマルチモーダルディープラーニングアーキテクチャを提案する。 実験の結果、既存の画像テキストマッチングモデルと比較して、最適化された新しいモデルは一連のベンチマークデータセットの性能を大幅に改善した。
• 参考スコア（独自算出の注目度）: 33.8315200009152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-text matching is a key multimodal task that aims to model the semantic association between images and text as a matching relationship. With the advent of the multimedia information age, image, and text data show explosive growth, and how to accurately realize the efficient and accurate semantic correspondence between them has become the core issue of common concern in academia and industry. In this study, we delve into the limitations of current multimodal deep learning models in processing image-text pairing tasks. Therefore, we innovatively design an advanced multimodal deep learning architecture, which combines the high-level abstract representation ability of deep neural networks for visual information with the advantages of natural language processing models for text semantic understanding. By introducing a novel cross-modal attention mechanism and hierarchical feature fusion strategy, the model achieves deep fusion and two-way interaction between image and text feature space. In addition, we also optimize the training objectives and loss functions to ensure that the model can better map the potential association structure between images and text during the learning process. Experiments show that compared with existing image-text matching models, the optimized new model has significantly improved performance on a series of benchmark data sets. In addition, the new model also shows excellent generalization and robustness on large and diverse open scenario datasets and can maintain high matching performance even in the face of previously unseen complex situations.
• Abstract（参考訳）: 画像テキストマッチングは、画像とテキスト間の意味的関連をマッチング関係としてモデル化することを目的とした、重要なマルチモーダルタスクである。 マルチメディア情報時代が到来すると、画像やテキストデータが爆発的な成長を示し、それらの間の効率的かつ正確な意味的対応を正確に実現する方法が、学術や産業において共通の関心事の中心となっている。 本研究では,画像とテキストのペアリング処理において,現在のマルチモーダル深層学習モデルの限界について検討する。 そこで我々は,視覚情報のためのディープニューラルネットワークの高レベル抽象表現能力と,テキスト意味理解のための自然言語処理モデルの利点を組み合わせた,高度なマルチモーダルディープラーニングアーキテクチャを革新的に設計する。 新たなクロスモーダルアテンション機構と階層的特徴融合戦略を導入することにより,画像特徴空間とテキスト特徴空間との深い融合と双方向相互作用を実現する。 さらに,学習過程における画像とテキスト間の潜在的な関連構造をよりよくマッピングできるように,学習目標と損失関数を最適化する。 実験の結果、既存の画像テキストマッチングモデルと比較して、最適化された新しいモデルは一連のベンチマークデータセットの性能を大幅に改善した。 さらに、新しいモデルは、大規模で多様なオープンシナリオデータセットに対して優れた一般化とロバスト性を示し、これまで見えなかった複雑な状況に直面した場合でも、高いマッチング性能を維持することができる。

関連論文リスト

• Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
  マルチモーダル表現学習は人工知能領域において重要な役割を担っている。 本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。 元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
  論文  参考訳（メタデータ） (2024-12-30T14:09:15Z)
• Multi-Head Attention Driven Dynamic Visual-Semantic Embedding for Enhanced Image-Text Matching [0.8611782340880084]
  本研究は,MH-CVSE (Multi-Headed Consensus-Aware Visual-Semantic Embedding) を用いた視覚的セマンティック埋め込みモデルを提案する。 本モデルでは,コンセンサスを意識した視覚的セマンティック埋め込みモデル(CVSE)に基づくマルチヘッド自己認識機構を導入し,複数のサブ空間の情報を並列に取得する。 損失関数設計においては、MH-CVSEモデルは、損失値自体に応じて動的に重量を調整するために動的重量調整戦略を採用する。
  論文  参考訳（メタデータ） (2024-12-26T11:46:22Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models [52.23899502520261]
  本稿では,テキスト構造の学習に特化するために,専用のテキスト拡散モデルを組み込んだARTISTという新しいフレームワークを紹介する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 この歪んだアーキテクチャ設計とトレーニング戦略は、テキストリッチな画像生成のための拡散モデルのテキストレンダリング能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• Learning to Model Multimodal Semantic Alignment for Story Visualization [58.16484259508973]
  ストーリービジュアライゼーションは、複数文のストーリーで各文をナレーションする一連の画像を生成することを目的としている。 現在の作業は、その固定されたアーキテクチャと入力モダリティの多様性のため、セマンティックなミスアライメントの問題に直面している。 GANに基づく生成モデルにおいて,テキストと画像表現のセマンティックアライメントを学習し,それらのセマンティックレベルを一致させる方法について検討する。
  論文  参考訳（メタデータ） (2022-11-14T11:41:44Z)
• Self-Supervised Image-to-Text and Text-to-Image Synthesis [23.587581181330123]
  クロスモーダルな埋め込み空間を学習するための,新たな自己教師型深層学習手法を提案する。 そこで本研究では,まず,StackGANベースのオートエンコーダモデルを用いて画像の高密度ベクトル表現と,LSTMベースのテキストオートエンコーダを用いた文レベルでの高密度ベクトル表現を得る。
  論文  参考訳（メタデータ） (2021-12-09T13:54:56Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。