論文の概要: Multi-Modal Retrieval using Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01666v1
• Date: Sun, 4 Oct 2020 19:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 04:06:45.833763
• Title: Multi-Modal Retrieval using Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークを用いたマルチモーダル検索
• Authors: Aashish Kumar Misraa, Ajinkya Kale, Pranav Aggarwal, Ali Aminian
• Abstract要約: 我々は、同じ高次元空間に埋め込まれた共同ビジョンと概念を学ぶ。 視覚と概念の関係をグラフ構造としてモデル化する。 また、選択的近傍接続に基づく新しい推論時間制御も導入する。
• 参考スコア（独自算出の注目度）: 1.8911962184174562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most real world applications of image retrieval such as Adobe Stock, which is a marketplace for stock photography and illustrations, need a way for users to find images which are both visually (i.e. aesthetically) and conceptually (i.e. containing the same salient objects) as a query image. Learning visual-semantic representations from images is a well studied problem for image retrieval. Filtering based on image concepts or attributes is traditionally achieved with index-based filtering (e.g. on textual tags) or by re-ranking after an initial visual embedding based retrieval. In this paper, we learn a joint vision and concept embedding in the same high-dimensional space. This joint model gives the user fine-grained control over the semantics of the result set, allowing them to explore the catalog of images more rapidly. We model the visual and concept relationships as a graph structure, which captures the rich information through node neighborhood. This graph structure helps us learn multi-modal node embeddings using Graph Neural Networks. We also introduce a novel inference time control, based on selective neighborhood connectivity allowing the user control over the retrieval algorithm. We evaluate these multi-modal embeddings quantitatively on the downstream relevance task of image retrieval on MS-COCO dataset and qualitatively on MS-COCO and an Adobe Stock dataset.
• Abstract（参考訳）: ストック写真やイラストのマーケットプレースであるAdobe Stockのような画像検索の現実世界のほとんどのアプリケーションは、ユーザがクエリイメージとして視覚的に(審美的に)も概念的に(同じ有能なオブジェクトを含む)も探す方法を必要としている。 画像からの視覚的表現の学習は、画像検索においてよく研究されている問題である。 画像の概念や属性に基づくフィルタリングは、伝統的にインデックスベースのフィルタリング(テキストタグなど)や、初期視覚埋め込みに基づく検索の後の再ランク付けによって達成される。 本稿では,同一の高次元空間における共同視覚と概念埋め込みについて学ぶ。 このジョイントモデルにより、ユーザは結果セットのセマンティクスを詳細に制御でき、画像のカタログをより迅速に探索することができる。 視覚的および概念的関係をグラフ構造としてモデル化し、ノード近傍でリッチな情報をキャプチャする。 このグラフ構造は,グラフニューラルネットワークを用いたマルチモーダルノード埋め込みの学習を支援する。 また,ユーザが検索アルゴリズムを制御できるように,選択した近傍接続に基づく新しい推定時間制御を導入する。 これらのマルチモーダル埋め込みを,ms-cocoデータセット上の画像検索と,ms-cocoおよびadobeストックデータセット上で定量的に定量的に評価する。

関連論文リスト

• Composing Object Relations and Attributes for Image-Text Matching [70.47747937665987]
  この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 本モデルは,オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し,ロバストかつ高速な性能システムを実現する。
  論文  参考訳（メタデータ） (2024-06-17T17:56:01Z)
• Enhancing Historical Image Retrieval with Compositional Cues [3.2276097734075426]
  本稿では,この話題に計算美学,すなわち画像合成から重要な要素を紹介する。 CNNが抽出した合成関連情報を設計した検索モデルに明示的に統合することにより、画像の合成規則と意味情報の両方を考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:51:19Z)
• Masked Contrastive Graph Representation Learning for Age Estimation [44.96502862249276]
  本稿では,画像冗長性情報を扱う上で,グラフ表現学習の特性を利用する。 年齢推定のためのMasked Contrastive Graph Representation Learning (MCGRL)法を提案する。 実世界の顔画像データセットに対する実験結果から,提案手法が他の最先端の年齢推定手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-16T15:53:21Z)
• Graph Neural Networks in Vision-Language Image Understanding: A Survey [6.813036707969848]
  2次元画像理解はコンピュータビジョンの複雑な問題である。 それは人間レベルのシーン理解を提供する鍵を握る。 近年、グラフニューラルネットワーク(GNN)は多くの2次元画像理解パイプラインの標準コンポーネントとなっている。
  論文  参考訳（メタデータ） (2023-03-07T09:56:23Z)
• Deep Image Deblurring: A Survey [165.32391279761006]
  低レベルのコンピュータビジョンにおいて、デブロアリングは古典的な問題であり、ぼやけた入力画像からシャープなイメージを復元することを目的としている。 近年のディープラーニングの進歩は、この問題の解決に大きな進歩をもたらした。
  論文  参考訳（メタデータ） (2022-01-26T01:31:30Z)
• Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph [96.95815946327079]
  名前付きエンティティの長期分布により、名前付きエンティティと視覚的キューの関係を学習することは困難である。 本稿では、視覚オブジェクトと名前付きエンティティを関連付けるために、マルチモーダルな知識グラフを構築する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-26T05:50:41Z)
• Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
  本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。 本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。 画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2021-07-08T10:54:59Z)
• Tensor Composition Net for Visual Relationship Prediction [115.14829858763399]
  画像の視覚的関係を予測するための新しいコンポジションネットワーク(TCN)を提案する。 TCNの鍵となる考え方は、視覚的関係テンソルの低階特性を利用することである。 本稿では,ttcnの画像レベルの視覚関係予測により,画像検索の簡便かつ効率的なメカニズムを示す。
  論文  参考訳（メタデータ） (2020-12-10T06:27:20Z)
• Using Text to Teach Image Retrieval [47.72498265721957]
  ニューラルネットワークを用いて学習した画像の特徴空間をグラフとして表現するために,画像多様体の概念に基づいて構築する。 我々は、幾何学的に整列したテキストで多様体のサンプルを増補し、大量の文を使って画像について教える。 実験結果から, 結合埋め込み多様体は頑健な表現であり, 画像検索を行うためのより良い基礎となることが示唆された。
  論文  参考訳（メタデータ） (2020-11-19T16:09:14Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。