論文の概要: MVAM: Multi-View Attention Method for Fine-grained Image-Text Matching

• arxiv url: http://arxiv.org/abs/2402.17237v2
• Date: Wed, 19 Feb 2025 06:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:18.180227
• Title: MVAM: Multi-View Attention Method for Fine-grained Image-Text Matching
• Title（参考訳）: MVAM:微細な画像テキストマッチングのためのマルチビューアテンション手法
• Authors: Wanqing Cui, Rui Cheng, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: 画像テキストマッチングのためのMVAM(Multi-view Attention Method)を提案する。 また、入力データの異なる側面に注目するよう注意を喚起する目的も取り入れている。 提案手法により,異なる視点から画像やテキストをエンコードし,より重要な詳細に焦点を合わせることが可能となり,マッチング性能が向上する。
• 参考スコア（独自算出の注目度）: 65.87255122130188
• License:
• Abstract: Existing two-stream models, such as CLIP, encode images and text through independent representations, showing good performance while ensuring retrieval speed, have attracted attention from industry and academia. However, the single representation often struggles to capture complex content fully. Such models may ignore fine-grained information during matching, resulting in suboptimal retrieval results. To overcome this limitation and enhance the performance of two-stream models, we propose a Multi-view Attention Method (MVAM) for image-text matching. This approach leverages diverse attention heads with unique view codes to learn multiple representations for images and text, which are then concatenated for matching. We also incorporate a diversity objective to explicitly encourage attention heads to focus on distinct aspects of the input data, capturing complementary fine-grained details. This diversity enables the model to represent image-text pairs from multiple perspectives, ensuring a more comprehensive understanding and alignment of critical content. Our method allows models to encode images and text from different perspectives and focus on more critical details, leading to better matching performance. Our experiments on MSCOCO and Flickr30K demonstrate enhancements over existing models, and further case studies reveal that different attention heads can focus on distinct content, achieving more comprehensive representations.
• Abstract（参考訳）: CLIPのような既存の2ストリームモデルでは、画像とテキストを独立した表現でエンコードし、検索速度を確保しながら優れたパフォーマンスを示し、業界や学術から注目を集めている。 しかし、単一の表現は、しばしば複雑なコンテンツを完全に捉えるのに苦労する。 このようなモデルはマッチング中にきめ細かい情報を無視し、結果が最適以下の結果となる。 この制限を克服し、2ストリームモデルの性能を向上させるために、画像テキストマッチングのためのマルチビュー注意法(MVAM)を提案する。 このアプローチでは、ユニークなビューコードを持つ多様なアテンションヘッドを活用して、画像とテキストの複数の表現を学習し、マッチングのために結合する。 また,入力データの異なる側面に注目するよう注意を喚起し,相補的な細部の詳細を捉えるために,多様性の目標も組み込んだ。 この多様性により、モデルは複数の視点から画像とテキストのペアを表現することができ、重要なコンテンツのより包括的な理解とアライメントを確保することができる。 提案手法により,異なる視点から画像やテキストをエンコードし,より重要な詳細に焦点を合わせることが可能となり,マッチング性能が向上する。 MSCOCO と Flickr30K に関する実験では,既存のモデルに対する改良が示されている。

関連論文リスト

• Advancing Myopia To Holism: Fully Contrastive Language-Image Pre-training [30.071860810401933]
  本稿では,対照的な言語イメージ事前学習(CLIP)を1つの新しい包括的パラダイムに発展させる。 画像からテキストへのキャプションを用いて、複数の視点、粒度、階層から各画像のマルチテキストを生成する。 私たちの総合的なCLIPは、画像テキスト検索、オープン語彙分類、濃密な視覚タスクなど、既存のCLIPよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-11-30T11:27:58Z)
• Matryoshka Multimodal Models [92.41824727506751]
  我々はM3: Matryoshka Multimodal Modelsを提案する。 COCOスタイルのベンチマークでは,576個のトークンを使用する場合と同様の精度を得るために,9個のビジュアルトークンしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:59:56Z)
• Learning Comprehensive Representations with Richer Self for Text-to-Image Person Re-Identification [34.289949134802086]
  TIReID(Text-to-image person re-identification)は、クエリテキストに基づいて同一人物の歩行者画像を取得する。 既存のTIReIDの手法では、通常は1対1の画像テキストマッチングの問題として扱われ、ビュー内の画像テキストペア間の関係にのみ焦点をあてる。 我々はLCR$2$Sと呼ばれるフレームワークを提案し、新しい視点から両方のモダリティの表現を学習することで同一のアイデンティティの多対多対応をモデル化する。
  論文  参考訳（メタデータ） (2023-10-17T12:39:16Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
  テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。 まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。 また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:57:52Z)
• Cross-Media Keyphrase Prediction: A Unified Framework with Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
  マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。 複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。 我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-11-03T08:44:18Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。