論文の概要: Composing Object Relations and Attributes for Image-Text Matching

• arxiv url: http://arxiv.org/abs/2406.11820v1
• Date: Mon, 17 Jun 2024 17:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:14:13.727111
• Title: Composing Object Relations and Attributes for Image-Text Matching
• Title（参考訳）: 画像テキストマッチングにおけるオブジェクト関係と属性の構成
• Authors: Khoi Pham, Chuong Huynh, Ser-Nam Lim, Abhinav Shrivastava,
• Abstract要約: この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 本モデルは,オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し,ロバストかつ高速な性能システムを実現する。
• 参考スコア（独自算出の注目度）: 70.47747937665987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the visual semantic embedding problem for image-text matching. Most existing work utilizes a tailored cross-attention mechanism to perform local alignment across the two image and text modalities. This is computationally expensive, even though it is more powerful than the unimodal dual-encoder approach. This work introduces a dual-encoder image-text matching model, leveraging a scene graph to represent captions with nodes for objects and attributes interconnected by relational edges. Utilizing a graph attention network, our model efficiently encodes object-attribute and object-object semantic relations, resulting in a robust and fast-performing system. Representing caption as a scene graph offers the ability to utilize the strong relational inductive bias of graph neural networks to learn object-attribute and object-object relations effectively. To train the model, we propose losses that align the image and caption both at the holistic level (image-caption) and the local level (image-object entity), which we show is key to the success of the model. Our model is termed Composition model for Object Relations and Attributes, CORA. Experimental results on two prominent image-text retrieval benchmarks, Flickr30K and MSCOCO, demonstrate that CORA outperforms existing state-of-the-art computationally expensive cross-attention methods regarding recall score while achieving fast computation speed of the dual encoder.
• Abstract（参考訳）: 画像テキストマッチングにおける視覚的セマンティック埋め込み問題について検討する。 既存の作業の多くは、2つの画像とテキストのモダリティをまたいで局所的なアライメントを行うために、調整されたクロスアテンション機構を使用している。 これは計算コストがかかるが、双対エンコーダのアプローチよりも強力である。 この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 グラフアテンションネットワークを利用することで、オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し、堅牢で高速なパフォーマンスシステムを実現する。 シーングラフとしてキャプションを表現することで、グラフニューラルネットワークの強いリレーショナル帰納バイアスを利用して、オブジェクト属性とオブジェクトオブジェクトの関係を効果的に学習することができる。 モデルを訓練するために,画像とキャプションを全体的レベル(イメージキャプション)と局所レベル(イメージオブジェクトエンティティ)の両方で整列させる損失を提案する。 我々のモデルは、CORA(Object Relations and Attributes, Object Relations and Attributes)と呼ばれる。 Flickr30K と MSCOCO の2つの画像テキスト検索ベンチマークによる実験結果から、CORA は2つのエンコーダの高速な計算速度を達成しつつ、リコールスコアに関する既存の計算コストの高いクロスアテンション手法より優れていることが示された。

関連論文リスト

• Relation Rectification in Diffusion Model [64.84686527988809]
  本稿では,最初に生成できない関係を正確に表現するためにモデルを洗練することを目的とした,リレーション・リクティフィケーション(Relation Rectification)と呼ばれる新しいタスクを紹介する。 異種グラフ畳み込みネットワーク(HGCN)を利用した革新的な解を提案する。 軽量HGCNは、テキストエンコーダによって生成されたテキスト埋め込みを調整し、埋め込み空間におけるテキスト関係の正確な反映を保証する。
  論文  参考訳（メタデータ） (2024-03-29T15:54:36Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Image Semantic Relation Generation [0.76146285961466]
  シーングラフは複雑な画像情報を排除し、意味レベルの関係を利用して視覚モデルのバイアスを修正することができる。 本研究では,画像意味関係生成(ISRG)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T16:15:19Z)
• Relationformer: A Unified Framework for Image-to-Graph Generation [18.832626244362075]
  この研究は、オブジェクトとその関係を共同で予測する一段階トランスフォーマーベースの統合フレームワークであるRelationformerを提案する。 我々は、直接セットベースのオブジェクト予測を活用し、オブジェクト間の相互作用を取り入れて、オブジェクト関係表現を共同で学習する。 複数、多種多様な、複数ドメインのデータセット上で、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-19T00:36:59Z)
• ReFormer: The Relational Transformer for Image Captioning [12.184772369145014]
  画像キャプションは、シーングラフを使用して画像内のオブジェクトの関係を表現することにより、より良いパフォーマンスを実現することができる。 本稿では,関係情報を埋め込んだ特徴を生成する新しいアーキテクチャReFormerを提案する。 本モデルは画像キャプションとシーングラフ生成における最先端手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-07-29T17:03:36Z)
• Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph [96.95815946327079]
  名前付きエンティティの長期分布により、名前付きエンティティと視覚的キューの関係を学習することは困難である。 本稿では、視覚オブジェクトと名前付きエンティティを関連付けるために、マルチモーダルな知識グラフを構築する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-26T05:50:41Z)
• Tensor Composition Net for Visual Relationship Prediction [115.14829858763399]
  画像の視覚的関係を予測するための新しいコンポジションネットワーク(TCN)を提案する。 TCNの鍵となる考え方は、視覚的関係テンソルの低階特性を利用することである。 本稿では,ttcnの画像レベルの視覚関係予測により,画像検索の簡便かつ効率的なメカニズムを示す。
  論文  参考訳（メタデータ） (2020-12-10T06:27:20Z)
• Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
  既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。 本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。 我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
  論文  参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。