論文の概要: Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition

• arxiv url: http://arxiv.org/abs/2304.11275v1
• Date: Fri, 21 Apr 2023 23:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:24:50.205320
• Title: Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition
• Title（参考訳）: マルチラベル画像認識のための意味認識グラフマッチング機構
• Authors: Yanan Wu, Songhe Feng and Yang Wang
• Abstract要約: マルチラベル画像認識は、画像に存在するラベルの集合を予測することを目的としている。 本稿では、各画像をインスタンスの袋として扱い、複数ラベル画像認識のタスクをインスタンス-ラベルマッチング選択問題として定式化する。 マルチラベル画像認識(ML-SGM)のための革新的なセマンティック対応グラフマッチングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.36538164675385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-label image recognition aims to predict a set of labels that present in an image. The key to deal with such problem is to mine the associations between image contents and labels, and further obtain the correct assignments between images and their labels. In this paper, we treat each image as a bag of instances, and formulate the task of multi-label image recognition as an instance-label matching selection problem. To model such problem, we propose an innovative Semantic-aware Graph Matching framework for Multi-Label image recognition (ML-SGM), in which Graph Matching mechanism is introduced owing to its good performance of excavating the instance and label relationship. The framework explicitly establishes category correlations and instance-label correspondences by modeling the relation among content-aware (instance) and semantic-aware (label) category representations, to facilitate multi-label image understanding and reduce the dependency of large amounts of training samples for each category. Specifically, we first construct an instance spatial graph and a label semantic graph respectively and then incorporate them into a constructed assignment graph by connecting each instance to all labels. Subsequently, the graph network block is adopted to aggregate and update all nodes and edges state on the assignment graph to form structured representations for each instance and label. Our network finally derives a prediction score for each instance-label correspondence and optimizes such correspondence with a weighted cross-entropy loss. Empirical results conducted on generic multi-label image recognition demonstrate the superiority of our proposed method. Moreover, the proposed method also shows advantages in multi-label recognition with partial labels and multi-label few-shot learning, as well as outperforms current state-of-the-art methods with a clear margin.
• Abstract（参考訳）: マルチラベル画像認識は、画像に存在するラベルの集合を予測することを目的としている。 このような問題に対処する鍵は、画像の内容とラベルの関連を掘り起こし、さらに画像とラベルの間の正しい割り当てを得ることである。 本稿では,各画像をインスタンスの袋として扱い,複数ラベル画像認識のタスクをインスタンスマッチング選択問題として定式化する。 このような問題をモデル化するために,マルチラベル画像認識(ML-SGM)のための革新的なセマンティック対応グラフマッチングフレームワークを提案する。 このフレームワークは、コンテンツ認識(インスタンス)とセマンティック認識(ラベル)カテゴリ表現の関係をモデル化し、カテゴリ間のカテゴリ相関とインスタンス-ラベル対応を明確に定義し、複数のラベルイメージ理解を容易にし、各カテゴリに対する大量のトレーニングサンプルの依存性を低減する。 具体的には,まずインスタンス空間グラフとラベル意味グラフをそれぞれ構築し,各インスタンスをすべてのラベルに接続して構築した割当グラフに組み込む。 その後、グラフネットワークブロックを使用して、割り当てグラフ上のすべてのノードとエッジ状態を集約および更新し、各インスタンスとラベルの構造化表現を形成する。 最後に,各インスタンスラベル対応の予測スコアを導出し,重み付きクロスエントロピー損失との対応を最適化する。 汎用マルチラベル画像認識における実験結果から,提案手法の優位性を示した。 さらに,提案手法は,部分ラベルを用いたマルチラベル認識や,複数ラベルによる複数ショット学習の利点も示し,最先端の手法よりも明確なマージンで優れていた。

関連論文リスト

• Towards Effective Multi-Label Recognition Attacks via Knowledge Graph Consistency [33.250544869840155]
  マルチラベル設定に対するマルチクラス攻撃の素早い拡張は,ラベル関係に違反することを示す。 本稿では,グラフに一貫性のあるマルチラベルアタックフレームワークを提案する。このフレームワークは,所望のターゲットセットの誤分類につながる小さな画像摂動を探索する。
  論文  参考訳（メタデータ） (2022-07-11T19:08:32Z)
• Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [70.36722026729859]
  本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-26T00:33:44Z)
• Graph Attention Transformer Network for Multi-Label Image Classification [50.0297353509294]
  複雑なラベル間関係を効果的にマイニングできる多ラベル画像分類のための一般的なフレームワークを提案する。 提案手法は3つのデータセット上で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-03-08T12:39:05Z)
• Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [86.17081952197788]
  そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
  論文  参考訳（メタデータ） (2022-03-04T07:56:16Z)
• Structured Semantic Transfer for Multi-Label Recognition with Partial Labels [85.6967666661044]
  部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化意味伝達(SST)フレームワークを提案する。 このフレームワークは2つの相補的なトランスファーモジュールから構成され、インテリアイメージとクロスイメージセマンティック相関を探索する。 Microsoft COCO、Visual Genome、Pascal VOCデータセットの実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。
  論文  参考訳（メタデータ） (2021-12-21T02:15:01Z)
• GM-MLIC: Graph Matching based Multi-Label Image Classification [20.118173194957052]
  マルチラベル画像分類(MLIC)は、画像に存在するラベルの集合を予測することを目的としている。 本稿では、各イメージをインスタンスの袋として扱い、MLICのタスクをインスタンスラベルマッチング選択問題として再構成する。 Graph Matching Based Multi-Label Image Classification (GM-MLIC) という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-30T05:36:25Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)
• SSKD: Self-Supervised Knowledge Distillation for Cross Domain Adaptive Person Re-Identification [25.96221714337815]
  ドメイン適応型人物再識別(re-ID)は、ソースドメインとターゲットドメインの間に大きな違いがあるため、難しい課題である。 既存の手法は主にクラスタリングアルゴリズムによって未ラベルのターゲット画像の擬似ラベルを生成する。 本稿では,識別学習とソフトラベル学習の2つのモジュールを含む自己監督的知識蒸留(SSKD)手法を提案する。
  論文  参考訳（メタデータ） (2020-09-13T10:12:02Z)
• Instance-Aware Graph Convolutional Network for Multi-Label Classification [55.131166957803345]
  グラフ畳み込みニューラルネットワーク(GCN)は、マルチラベル画像認識タスクを効果的に強化した。 マルチラベル分類のための事例対応グラフ畳み込みニューラルネットワーク(IA-GCN)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-19T12:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。