論文の概要: Pseudo-label Refinement for Improving Self-Supervised Learning Systems

• arxiv url: http://arxiv.org/abs/2410.14242v1
• Date: Fri, 18 Oct 2024 07:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:22.031091
• Title: Pseudo-label Refinement for Improving Self-Supervised Learning Systems
• Title（参考訳）: Pseudo-label Refinement for Improving Self-Supervised Learning Systems (特集:情報ネットワーク)
• Authors: Zia-ur-Rehman, Arif Mahmood, Wenxiong Kang,
• Abstract要約: 自己教師付き学習システムは、人間のアノテーションを必要とせずに、クラスタリングベースの擬似ラベルを使用して監督する。 クラスタリング手法によって生じるこれらの擬似ラベルのノイズは、学習プロセスに難題となり、性能が劣化する。 本稿では,この問題に対処する擬似ラベル改良アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 22.276126184466207
• License:
• Abstract: Self-supervised learning systems have gained significant attention in recent years by leveraging clustering-based pseudo-labels to provide supervision without the need for human annotations. However, the noise in these pseudo-labels caused by the clustering methods poses a challenge to the learning process leading to degraded performance. In this work, we propose a pseudo-label refinement (SLR) algorithm to address this issue. The cluster labels from the previous epoch are projected to the current epoch cluster-labels space and a linear combination of the new label and the projected label is computed as a soft refined label containing the information from the previous epoch clusters as well as from the current epoch. In contrast to the common practice of using the maximum value as a cluster/class indicator, we employ hierarchical clustering on these soft pseudo-labels to generate refined hard-labels. This approach better utilizes the information embedded in the soft labels, outperforming the simple maximum value approach for hard label generation. The effectiveness of the proposed SLR algorithm is evaluated in the context of person re-identification (Re-ID) using unsupervised domain adaptation (UDA). Experimental results demonstrate that the modified Re-ID baseline, incorporating the SLR algorithm, achieves significantly improved mean Average Precision (mAP) performance in various UDA tasks, including real-to-synthetic, synthetic-to-real, and different real-to-real scenarios. These findings highlight the efficacy of the SLR algorithm in enhancing the performance of self-supervised learning systems.
• Abstract（参考訳）: 近年,人間のアノテーションを必要とせず,クラスタリングをベースとした擬似ラベルを活用することで,自己指導型学習システムに大きな注目を集めている。 しかし、クラスタリング手法によって生じるこれらの擬似ラベルのノイズは、学習プロセスに難題となり、性能が劣化する。 本研究では,この問題に対処する擬似ラベル改良(SLR)アルゴリズムを提案する。 前のエポックからのクラスタラベルを現在のエポッククラスタラベル空間に投影し、新しいラベルと投影されたラベルの線形結合を、現在のエポッククラスタと現在のエポッククラスタの情報を含む軟精細ラベルとして計算する。 クラスタ/クラスインジケータとして最大値を使用する一般的なプラクティスとは対照的に,これらのソフトな擬似ラベルに階層的クラスタリングを用いて,洗練されたハードラベルを生成する。 このアプローチはソフトラベルに埋め込まれた情報をよりよく利用し、ハードラベル生成のための単純な最大値アプローチよりも優れている。 提案手法の有効性を,教師なし領域適応(UDA)を用いた人物再識別(Re-ID)の文脈で評価する。 実験結果から,SLRアルゴリズムを組み込んだ改良型Re-IDベースラインは,実合成,合成-実合成,実-実シナリオなど,様々なUDAタスクにおける平均精度(mAP)性能を著しく向上することが示された。 これらの結果は,自己教師付き学習システムの性能向上におけるSLRアルゴリズムの有効性を浮き彫りにした。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Plug-and-Play Pseudo Label Correction Network for Unsupervised Person Re-identification [36.3733132520186]
  グラフベースの擬似ラベル補正ネットワーク(GLC)を提案する。 GLC は k 近傍グラフ上のサンプル間の関係制約を用いて初期雑音ラベルを補正する。 本手法は,様々なクラスタリング手法と互換性があり,最新技術の性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2022-06-14T05:59:37Z)
• Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification [84.72303377833732]
  教師なしのオブジェクト再識別は、アノテーションなしでオブジェクト検索のための識別表現を学習することを目的としている。 本稿では,クラスタリングコンセンサスを用いた連続学習世代間の擬似ラベル類似性を推定し,時間的に伝播およびアンサンブルされた擬似ラベルを用いた洗練された擬似ラベルを提案する。 提案する擬似ラベル精錬戦略は単純だが有効であり、既存のクラスタリングに基づく教師なし再同定手法にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-06-11T02:42:42Z)
• Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification [51.98150752331922]
  Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。 オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。 本手法は最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2020-12-26T07:35:35Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation [35.03150829133562]
  より正確な擬似ラベルを生成するための信頼性指標としてエントロピーを利用したエントロピー誘導型自己教師学習を提案する。 異なるUDAベンチマークでは、ESLは強いSSLベースラインを一貫して上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T18:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。