論文の概要: Semantic-Aware Representation Blending for Multi-Label Image Recognition
with Partial Labels
- arxiv url: http://arxiv.org/abs/2203.02172v1
- Date: Fri, 4 Mar 2022 07:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 15:10:45.927555
- Title: Semantic-Aware Representation Blending for Multi-Label Image Recognition
with Partial Labels
- Title(参考訳): 部分ラベルを用いたマルチラベル画像認識のためのセマンティック・アウェア表現ブレンド
- Authors: Tao Pu, Tianshui Chen, Hefeng Wu, Liang Lin
- Abstract要約: そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。
MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
- 参考スコア(独自算出の注目度): 86.17081952197788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training the multi-label image recognition models with partial labels, in
which merely some labels are known while others are unknown for each image, is
a considerably challenging and practical task. To address this task, current
algorithms mainly depend on pre-training classification or similarity models to
generate pseudo labels for the unknown labels. However, these algorithms depend
on sufficient multi-label annotations to train the models, leading to poor
performance especially with low known label proportion. In this work, we
propose to blend category-specific representation across different images to
transfer information of known labels to complement unknown labels, which can
get rid of pre-training models and thus does not depend on sufficient
annotations. To this end, we design a unified semantic-aware representation
blending (SARB) framework that exploits instance-level and prototype-level
semantic representation to complement unknown labels by two complementary
modules: 1) an instance-level representation blending (ILRB) module blends the
representations of the known labels in an image to the representations of the
unknown labels in another image to complement these unknown labels. 2) a
prototype-level representation blending (PLRB) module learns more stable
representation prototypes for each category and blends the representation of
unknown labels with the prototypes of corresponding labels to complement these
labels. Extensive experiments on the MS-COCO, Visual Genome, Pascal VOC 2007
datasets show that the proposed SARB framework obtains superior performance
over current leading competitors on all known label proportion settings, i.e.,
with the mAP improvement of 4.6%, 4.%, 2.2% on these three datasets when the
known label proportion is 10%. Codes are available at
https://github.com/HCPLab-SYSU/HCP-MLR-PL.
- Abstract(参考訳): 部分ラベルによる複数ラベル画像認識モデルのトレーニングは,画像毎に未知のラベルしか認識されないが,極めて困難かつ実用的な課題である。
この課題に対処するために、現在のアルゴリズムは主に事前訓練された分類や類似性モデルに依存し、未知のラベルに対して擬似ラベルを生成する。
しかし、これらのアルゴリズムはモデルのトレーニングに十分なマルチラベルアノテーションに依存しており、特に低ラベル率で性能が低下する。
本研究では,未知のラベルを補うために,未知のラベルの情報を伝達するために,各画像にカテゴリ固有の表現をブレンドし,事前学習モデルを取り除き,十分なアノテーションに依存しない手法を提案する。
この目的のために、インスタンスレベルとプロトタイプレベルのセマンティクス表現を利用して未知のラベルを2つの補完モジュールで補完する統一的なセマンティクス・アウェア表現ブレンディング(sarb)フレームワークを設計する。
1) インスタンスレベルの表現ブレンディング(ILRB)モジュールは、未知ラベルの表現と未知ラベルの表現を別の画像にブレンドして、これらの未知ラベルを補完する。
2)プロトタイプレベルの表現ブレンディング(PLRB)モジュールは,各カテゴリのより安定した表現プロトタイプを学習し,未知ラベルの表現と対応するラベルのプロトタイプをブレンドし,それらのラベルを補完する。
MS-COCO、Visual Genome、Pascal VOC 2007データセットの大規模な実験によると、提案されたSARBフレームワークは、既知のラベル比率が10%である3つのデータセットで、mAPの改善が4.6%、4.%、22%である、すべての既知のラベル比率設定において、現在の主要な競合相手よりも優れたパフォーマンスが得られる。
コードはhttps://github.com/HCPLab-SYSU/HCP-MLR-PLで公開されている。
関連論文リスト
- Semantic-Aware Graph Matching Mechanism for Multi-Label Image
Recognition [21.36538164675385]
マルチラベル画像認識は、画像に存在するラベルの集合を予測することを目的としている。
本稿では、各画像をインスタンスの袋として扱い、複数ラベル画像認識のタスクをインスタンス-ラベルマッチング選択問題として定式化する。
マルチラベル画像認識(ML-SGM)のための革新的なセマンティック対応グラフマッチングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-21T23:48:01Z) - Dual-Perspective Semantic-Aware Representation Blending for Multi-Label
Image Recognition with Partial Labels [70.36722026729859]
本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。
提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-26T00:33:44Z) - Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels [70.45813147115126]
部分ラベル付きマルチラベル画像認識(MLR-PL)は、アノテーションのコストを大幅に削減し、大規模なMLRを促進する。
それぞれの画像と異なる画像の間に強い意味的相関が存在することがわかった。
これらの相関関係は、未知のラベルを取得するために、既知のラベルが持つ知識を転送するのに役立ちます。
論文 参考訳(メタデータ) (2022-05-23T08:37:38Z) - Structured Semantic Transfer for Multi-Label Recognition with Partial
Labels [85.6967666661044]
部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化意味伝達(SST)フレームワークを提案する。
このフレームワークは2つの相補的なトランスファーモジュールから構成され、インテリアイメージとクロスイメージセマンティック相関を探索する。
Microsoft COCO、Visual Genome、Pascal VOCデータセットの実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。
論文 参考訳(メタデータ) (2021-12-21T02:15:01Z) - Inferring Prototypes for Multi-Label Few-Shot Image Classification with
Word Vector Guided Attention [45.6809084493491]
ML-FSIC (Multi-label few-shot Image Classification) は、画像に記述ラベルを割り当てるタスクである。
本稿では,ラベルの意味に関する事前知識の形式として,単語埋め込みを提案する。
我々のモデルは、モデルパラメータを微調整することなく、未確認ラベルのプロトタイプを推測することができる。
論文 参考訳(メタデータ) (2021-12-02T07:59:11Z) - Knowledge-Guided Multi-Label Few-Shot Learning for General Image
Recognition [75.44233392355711]
KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。
まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。
次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。
グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
論文 参考訳(メタデータ) (2020-09-20T15:05:29Z) - Instance-Aware Graph Convolutional Network for Multi-Label
Classification [55.131166957803345]
グラフ畳み込みニューラルネットワーク(GCN)は、マルチラベル画像認識タスクを効果的に強化した。
マルチラベル分類のための事例対応グラフ畳み込みニューラルネットワーク(IA-GCN)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-19T12:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。