論文の概要: DMT: Dynamic Mutual Training for Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2004.08514v4
• Date: Wed, 11 May 2022 10:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:27:36.818400
• Title: DMT: Dynamic Mutual Training for Semi-Supervised Learning
• Title（参考訳）: DMT:半監督学習のための動的相互訓練
• Authors: Zhengyang Feng, Qianyu Zhou, Qiqi Gu, Xin Tan, Guangliang Cheng, Xuequan Lu, Jianping Shi, Lizhuang Ma
• Abstract要約: 自己学習法は通常、低信頼の擬似ラベルをフィルタリングするために単一のモデル予測の信頼性に依存する。 動的相互学習と呼ばれる動的に再重み付けされた損失関数を用いて、2つの異なるモデル間の相互学習を提案する。 実験の結果,DMTは画像分類とセマンティックセグメンテーションの両方において最先端の性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 69.17919491907296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent semi-supervised learning methods use pseudo supervision as core idea, especially self-training methods that generate pseudo labels. However, pseudo labels are unreliable. Self-training methods usually rely on single model prediction confidence to filter low-confidence pseudo labels, thus remaining high-confidence errors and wasting many low-confidence correct labels. In this paper, we point out it is difficult for a model to counter its own errors. Instead, leveraging inter-model disagreement between different models is a key to locate pseudo label errors. With this new viewpoint, we propose mutual training between two different models by a dynamically re-weighted loss function, called Dynamic Mutual Training (DMT). We quantify inter-model disagreement by comparing predictions from two different models to dynamically re-weight loss in training, where a larger disagreement indicates a possible error and corresponds to a lower loss value. Extensive experiments show that DMT achieves state-of-the-art performance in both image classification and semantic segmentation. Our codes are released at https://github.com/voldemortX/DST-CBC .
• Abstract（参考訳）: 近年の半教師あり学習手法は、疑似監督を中核概念、特に擬似ラベルを生成する自己学習手法として用いている。 しかし、偽のラベルは信頼できない。 自己学習法は通常、低信頼の擬似ラベルをフィルタするために単一モデル予測の信頼性に依存し、したがって高信頼の誤りを残し、多くの低信頼の正しいラベルを浪費する。 本稿では,モデルが自身のエラーに対して対処することが困難であることを指摘する。 代わりに、異なるモデル間のモデル間不一致を活用することが、擬似ラベルエラーを見つける鍵となる。 この新たな視点では,動的重み付け損失関数による2つの異なるモデル間の相互学習を動的相互訓練 (dmt) と呼ぶ。 2つの異なるモデルからの予測を比較してモデル間不一致を定量化し、トレーニングにおける動的再重み付け損失と比較する。 画像分類とセマンティックセグメンテーションの両方において,DMTが最先端の性能を達成することを示す。 私たちのコードはhttps://github.com/voldemortX/DST-CBC でリリースされています。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module [74.80776648785897]
  i) 大規模モデルと軽量モデルの間で対話的なトレーニングを行う場合, 大規模モデルのガイドに擬似的な軽量モデルラベルを用いる。 位置整合性擬似ラベル補正モジュール(SSPCM)により駆動される半教師付き2次元ポーズ推定フレームワークを提案する。 学生モデルの性能向上のために,擬似キーポイント認識に基づく半教師付きカットオクルードを用いて,より硬く効果的なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-03-08T02:57:05Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。