論文の概要: Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels

• arxiv url: http://arxiv.org/abs/2205.13092v3
• Date: Sat, 27 Jan 2024 09:24:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 01:19:37.960039
• Title: Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels
• Title（参考訳）: 部分ラベル付きマルチラベル画像認識のためのデュアル・パースペクティブ・セマンティクス・アウェア表現ブレンド
• Authors: Tao Pu, Tianshui Chen, Hefeng Wu, Yukai Shi, Zhijing Yang, Liang Lin
• Abstract要約: 本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 70.36722026729859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite achieving impressive progress, current multi-label image recognition (MLR) algorithms heavily depend on large-scale datasets with complete labels, making collecting large-scale datasets extremely time-consuming and labor-intensive. Training the multi-label image recognition models with partial labels (MLR-PL) is an alternative way, in which merely some labels are known while others are unknown for each image. However, current MLP-PL algorithms rely on pre-trained image similarity models or iteratively updating the image classification models to generate pseudo labels for the unknown labels. Thus, they depend on a certain amount of annotations and inevitably suffer from obvious performance drops, especially when the known label proportion is low. To address this dilemma, we propose a dual-perspective semantic-aware representation blending (DSRB) that blends multi-granularity category-specific semantic representation across different images, from instance and prototype perspective respectively, to transfer information of known labels to complement unknown labels. Specifically, an instance-perspective representation blending (IPRB) module is designed to blend the representations of the known labels in an image with the representations of the corresponding unknown labels in another image to complement these unknown labels. Meanwhile, a prototype-perspective representation blending (PPRB) module is introduced to learn more stable representation prototypes for each category and blends the representation of unknown labels with the prototypes of corresponding labels, in a location-sensitive manner, to complement these unknown labels. Extensive experiments on the MS-COCO, Visual Genome, and Pascal VOC 2007 datasets show that the proposed DSRB consistently outperforms current state-of-the-art algorithms on all known label proportion settings.
• Abstract（参考訳）: 目覚ましい進歩にもかかわらず、現在のマルチラベル画像認識(MLR)アルゴリズムは、完全なラベルを持つ大規模なデータセットに大きく依存しているため、大規模なデータセットの収集は非常に時間がかかり、労力がかかる。 部分ラベル付きマルチラベル画像認識モデル(MLR-PL)の訓練は、一部のラベルのみが知られ、他のラベルは各画像について不明である別の方法である。 しかし、現在のmlp-plアルゴリズムは、事前訓練された画像類似性モデルに依存するか、画像分類モデルを反復的に更新して未知ラベルの擬似ラベルを生成する。 したがって、一定の量のアノテーションに依存し、特に既知のラベル比率が低い場合、必然的にパフォーマンス低下に悩まされる。 このジレンマに対処するために、未知のラベルを補うために既知のラベルの情報を転送するために、異なる画像間で多粒度カテゴリ固有の意味表現をブレンドする二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 特に、IPRBモジュールは、既知のラベルの表現と対応する未知のラベルの表現を別の画像にブレンドして、これらの未知のラベルを補完するように設計されている。 一方、各カテゴリのより安定した表現プロトタイプを学習するために、PPRBモジュールを導入し、未知ラベルの表現と対応するラベルのプロトタイプを、位置情報に敏感な方法でブレンドして、これらの未知ラベルを補完する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットに対する大規模な実験により、提案されたDSRBは、既知のすべてのラベルの比率設定において、常に最先端のアルゴリズムより優れていることが示された。

関連論文リスト

• Semantic-Aware Graph Matching Mechanism for Multi-Label Image Recognition [21.36538164675385]
  マルチラベル画像認識は、画像に存在するラベルの集合を予測することを目的としている。 本稿では、各画像をインスタンスの袋として扱い、複数ラベル画像認識のタスクをインスタンス-ラベルマッチング選択問題として定式化する。 マルチラベル画像認識(ML-SGM)のための革新的なセマンティック対応グラフマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-21T23:48:01Z)
• Category-Adaptive Label Discovery and Noise Rejection for Multi-label Image Recognition with Partial Positive Labels [78.88007892742438]
  部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。 これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。 我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
  論文  参考訳（メタデータ） (2022-11-15T02:11:20Z)
• Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels [70.45813147115126]
  部分ラベル付きマルチラベル画像認識(MLR-PL)は、アノテーションのコストを大幅に削減し、大規模なMLRを促進する。 それぞれの画像と異なる画像の間に強い意味的相関が存在することがわかった。 これらの相関関係は、未知のラベルを取得するために、既知のラベルが持つ知識を転送するのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-23T08:37:38Z)
• Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [86.17081952197788]
  そこで我々は,未知のラベルを補うために,異なる画像にカテゴリ固有の表現をブレンドして,既知のラベルの情報を伝達することを提案する。 MS-COCO、Visual Genome、Pascal VOC 2007データセットの実験は、提案されたSARBフレームワークが、現在の主要な競合相手よりも優れたパフォーマンスを得ることを示している。
  論文  参考訳（メタデータ） (2022-03-04T07:56:16Z)
• Structured Semantic Transfer for Multi-Label Recognition with Partial Labels [85.6967666661044]
  部分ラベル付きマルチラベル認識モデルのトレーニングを可能にする構造化意味伝達(SST)フレームワークを提案する。 このフレームワークは2つの相補的なトランスファーモジュールから構成され、インテリアイメージとクロスイメージセマンティック相関を探索する。 Microsoft COCO、Visual Genome、Pascal VOCデータセットの実験は、提案されたSSTフレームワークが現在の最先端アルゴリズムよりも優れたパフォーマンスが得られることを示している。
  論文  参考訳（メタデータ） (2021-12-21T02:15:01Z)
• Inferring Prototypes for Multi-Label Few-Shot Image Classification with Word Vector Guided Attention [45.6809084493491]
  ML-FSIC (Multi-label few-shot Image Classification) は、画像に記述ラベルを割り当てるタスクである。 本稿では,ラベルの意味に関する事前知識の形式として,単語埋め込みを提案する。 我々のモデルは、モデルパラメータを微調整することなく、未確認ラベルのプロトタイプを推測することができる。
  論文  参考訳（メタデータ） (2021-12-02T07:59:11Z)
• Instance-Aware Graph Convolutional Network for Multi-Label Classification [55.131166957803345]
  グラフ畳み込みニューラルネットワーク(GCN)は、マルチラベル画像認識タスクを効果的に強化した。 マルチラベル分類のための事例対応グラフ畳み込みニューラルネットワーク(IA-GCN)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-19T12:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。