論文の概要: Structured Semantic Transfer for Multi-Label Recognition with Partial Labels

• arxiv url: http://arxiv.org/abs/2112.10941v1
• Date: Tue, 21 Dec 2021 02:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 14:14:56.101489
• Title: Structured Semantic Transfer for Multi-Label Recognition with Partial Labels
• Title（参考訳）: 部分ラベルを用いたマルチラベル認識のための構造的意味伝達
• Authors: Tianshui Chen, Tao Pu, Hefeng Wu, Yuan Xie, Liang Lin
• Abstract要約: 部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化意味伝達(SST)フレームワークを提案する。 このフレームワークは2つの相補的なトランスファーモジュールから構成され、インテリアイメージとクロスイメージセマンティック相関を探索する。 Microsoft COCO、Visual Genome、Pascal VOCデータセットの実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。
• 参考スコア（独自算出の注目度）: 85.6967666661044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-label image recognition is a fundamental yet practical task because real-world images inherently possess multiple semantic labels. However, it is difficult to collect large-scale multi-label annotations due to the complexity of both the input images and output label spaces. To reduce the annotation cost, we propose a structured semantic transfer (SST) framework that enables training multi-label recognition models with partial labels, i.e., merely some labels are known while other labels are missing (also called unknown labels) per image. The framework consists of two complementary transfer modules that explore within-image and cross-image semantic correlations to transfer knowledge of known labels to generate pseudo labels for unknown labels. Specifically, an intra-image semantic transfer module learns image-specific label co-occurrence matrix and maps the known labels to complement unknown labels based on this matrix. Meanwhile, a cross-image transfer module learns category-specific feature similarities and helps complement unknown labels with high similarities. Finally, both known and generated labels are used to train the multi-label recognition models. Extensive experiments on the Microsoft COCO, Visual Genome and Pascal VOC datasets show that the proposed SST framework obtains superior performance over current state-of-the-art algorithms. Codes are available at \url{https://github.com/HCPLab-SYSU/SST-MLR-PL
• Abstract（参考訳）: 実世界の画像は本質的に複数のセマンティックラベルを持っているため、マルチラベル画像認識は基本的な作業である。 しかし,入力画像と出力ラベル空間の複雑さのため,大規模なマルチラベルアノテーションの収集は困難である。 アノテーションのコストを削減すべく,部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化セマンティックトランスファー(SST)フレームワークを提案する。 このフレームワークは2つの相補的なトランスファーモジュールから構成されており、インテリアイメージとクロスイメージセマンティック相関を探索し、既知のラベルの知識を伝達し、未知のラベルの擬似ラベルを生成する。 具体的には、画像内意味伝達モジュールが画像固有のラベル共起行列を学習し、既知のラベルをこの行列に基づいて未知のラベルを補完するためにマッピングする。 一方、クロスイメージ転送モジュールはカテゴリ固有の特徴類似性を学習し、未知のラベルを高い類似度で補完する。 最後に、既知のラベルと生成されたラベルは、マルチラベル認識モデルのトレーニングに使用される。 Microsoft COCO、Visual Genome、Pascal VOCデータセットに対する大規模な実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。 コードは \url{https://github.com/HCPLab-SYSU/SST-MLR-PL で入手できる。

関連論文リスト

• PatchCT: Aligning Patch Set and Label Set with Conditional Transport for Multi-Label Image Classification [48.929583521641526]
  マルチラベル画像分類は、与えられた画像から複数のラベルを識別することを目的とした予測タスクである。 本稿では,このギャップを埋める条件輸送理論を紹介する。 複数ラベルの分類をCT問題として定式化することで,画像とラベルの相互作用を効率的に活用できることがわかった。
  論文  参考訳（メタデータ） (2023-07-18T08:37:37Z)
• Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition [21.36538164675385]
  マルチラベル画像認識は、画像に存在するラベルの集合を予測することを目的としている。 本稿では、各画像をインスタンスの袋として扱い、複数ラベル画像認識のタスクをインスタンス-ラベルマッチング選択問題として定式化する。 マルチラベル画像認識(ML-SGM)のための革新的なセマンティック対応グラフマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-21T23:48:01Z)
• Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [70.36722026729859]
  本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-26T00:33:44Z)
• Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels [70.45813147115126]
  部分ラベル付きマルチラベル画像認識(MLR-PL)は、アノテーションのコストを大幅に削減し、大規模なMLRを促進する。 それぞれの画像と異なる画像の間に強い意味的相関が存在することがわかった。 これらの相関関係は、未知のラベルを取得するために、既知のラベルが持つ知識を転送するのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-23T08:37:38Z)
• Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [86.17081952197788]
  そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
  論文  参考訳（メタデータ） (2022-03-04T07:56:16Z)
• Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
  KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。 まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。 次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。 グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-09-20T15:05:29Z)
• SSKD: Self-Supervised Knowledge Distillation for Cross Domain Adaptive Person Re-Identification [25.96221714337815]
  ドメイン適応型人物再識別(re-ID)は、ソースドメインとターゲットドメインの間に大きな違いがあるため、難しい課題である。 既存の手法は主にクラスタリングアルゴリズムによって未ラベルのターゲット画像の擬似ラベルを生成する。 本稿では,識別学習とソフトラベル学習の2つのモジュールを含む自己監督的知識蒸留(SSKD)手法を提案する。
  論文  参考訳（メタデータ） (2020-09-13T10:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。