論文の概要: Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels

• arxiv url: http://arxiv.org/abs/2205.11131v1
• Date: Mon, 23 May 2022 08:37:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 18:09:18.330194
• Title: Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels
• Title（参考訳）: 部分ラベルを用いた複数ラベル認識のための異種意味伝達
• Authors: Tianshui Chen, Tao Pu, Lingbo Liu, Yukai Shi, Zhijing Yang, Liang Lin
• Abstract要約: 部分ラベル付きマルチラベル画像認識(MLR-PL)は、アノテーションのコストを大幅に削減し、大規模なMLRを促進する。 それぞれの画像と異なる画像の間に強い意味的相関が存在することがわかった。 これらの相関関係は、未知のラベルを取得するために、既知のラベルが持つ知識を転送するのに役立ちます。
• 参考スコア（独自算出の注目度）: 77.30914639420516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-label image recognition with partial labels (MLR-PL), in which some labels are known while others are unknown for each image, may greatly reduce the cost of annotation and thus facilitate large-scale MLR. We find that strong semantic correlations exist within each image and across different images, and these correlations can help transfer the knowledge possessed by the known labels to retrieve the unknown labels and thus improve the performance of the MLR-PL task (see Figure 1). In this work, we propose a novel heterogeneous semantic transfer (HST) framework that consists of two complementary transfer modules that explore both within-image and cross-image semantic correlations to transfer the knowledge possessed by known labels to generate pseudo labels for the unknown labels. Specifically, an intra-image semantic transfer (IST) module learns an image-specific label co-occurrence matrix for each image and maps the known labels to complement the unknown labels based on these matrices. Additionally, a cross-image transfer (CST) module learns category-specific feature-prototype similarities and then helps complement the unknown labels that have high degrees of similarity with the corresponding prototypes. Finally, both the known and generated pseudo labels are used to train MLR models. Extensive experiments conducted on the Microsoft COCO, Visual Genome, and Pascal VOC 2007 datasets show that the proposed HST framework achieves superior performance to that of current state-of-the-art algorithms. Specifically, it obtains mean average precision (mAP) improvements of 1.4%, 3.3%, and 0.4% on the three datasets over the results of the best-performing previously developed algorithm.
• Abstract（参考訳）: 部分ラベル付きマルチラベル画像認識(MLR-PL)では,各画像に未知なラベルがある場合,アノテーションのコストを大幅に削減し,大規模なMLRを実現する。 これらの相関関係は、既知のラベルが持つ知識を伝達して未知のラベルを検索し、MLR-PLタスクの性能を向上させるのに役立つ(図1参照)。 本研究では,画像内および画像間の意味相関を探索し,未知ラベルに対する擬似ラベルを生成するために,未知ラベルの知識を転送する2つの相補的トランスファーモジュールからなる,新しいヘテロジニアス・セマンティクス・トランスファー(hst)フレームワークを提案する。 具体的には、画像内意味伝達(ist)モジュールが画像毎に画像固有のラベル共起行列を学習し、既知のラベルをマップしてこれらの行列に基づいて未知のラベルを補完する。 さらに、クロスイメージトランスファー(CST)モジュールは、カテゴリ固有の特徴-プロトタイプの類似性を学習し、対応するプロトタイプと高い類似度を持つ未知のラベルを補完する。 最後に、既知のおよび生成された擬似ラベルは、MLRモデルのトレーニングに使用される。 Microsoft COCO、Visual Genome、Pascal VOC 2007データセットで実施された大規模な実験は、提案されたHSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスを達成することを示している。 具体的には、これまで開発されてきたアルゴリズムの結果より、平均精度(map)が1.4%、3.3%、0.4%向上した。

関連論文リスト

• Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [70.36722026729859]
  本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-26T00:33:44Z)
• Graph Attention Transformer Network for Multi-Label Image Classification [50.0297353509294]
  複雑なラベル間関係を効果的にマイニングできる多ラベル画像分類のための一般的なフレームワークを提案する。 提案手法は3つのデータセット上で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-03-08T12:39:05Z)
• Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [86.17081952197788]
  そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
  論文  参考訳（メタデータ） (2022-03-04T07:56:16Z)
• Structured Semantic Transfer for Multi-Label Recognition with Partial Labels [85.6967666661044]
  部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化意味伝達(SST)フレームワークを提案する。 このフレームワークは2つの相補的なトランスファーモジュールから構成され、インテリアイメージとクロスイメージセマンティック相関を探索する。 Microsoft COCO、Visual Genome、Pascal VOCデータセットの実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。
  論文  参考訳（メタデータ） (2021-12-21T02:15:01Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)
• SSKD: Self-Supervised Knowledge Distillation for Cross Domain Adaptive Person Re-Identification [25.96221714337815]
  ドメイン適応型人物再識別(re-ID)は、ソースドメインとターゲットドメインの間に大きな違いがあるため、難しい課題である。 既存の手法は主にクラスタリングアルゴリズムによって未ラベルのターゲット画像の擬似ラベルを生成する。 本稿では,識別学習とソフトラベル学習の2つのモジュールを含む自己監督的知識蒸留(SSKD)手法を提案する。
  論文  参考訳（メタデータ） (2020-09-13T10:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。