Fugu-MT 論文翻訳(概要): Local Clustering with Mean Teacher for Semi-supervised Learning

論文の概要: Local Clustering with Mean Teacher for Semi-supervised Learning

arxiv url: http://arxiv.org/abs/2004.09665v2
Date: Fri, 24 Jul 2020 00:47:01 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 17:34:47.508530
Title: Local Clustering with Mean Teacher for Semi-supervised Learning
Title（参考訳）: 半教師学習のための平均教師による局所クラスタリング
Authors: Zexi Chen, Benjamin Dutton, Bharathkumar Ramachandra, Tianfu Wu, Ranga Raju Vatsavai
Abstract要約: Tarvainen と Valpola の Mean Teacher (MT) モデルは、いくつかの半教師付きベンチマークデータセットで好成績を示した。そこで本研究では,局所クラスタリング(LC)と呼ばれる簡易で効果的な手法を提案する。
参考スコア（独自算出の注目度）: 8.54739245813914
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Mean Teacher (MT) model of Tarvainen and Valpola has shown favorable performance on several semi-supervised benchmark datasets. MT maintains a teacher model's weights as the exponential moving average of a student model's weights and minimizes the divergence between their probability predictions under diverse perturbations of the inputs. However, MT is known to suffer from confirmation bias, that is, reinforcing incorrect teacher model predictions. In this work, we propose a simple yet effective method called Local Clustering (LC) to mitigate the effect of confirmation bias. In MT, each data point is considered independent of other points during training; however, data points are likely to be close to each other in feature space if they share similar features. Motivated by this, we cluster data points locally by minimizing the pairwise distance between neighboring data points in feature space. Combined with a standard classification cross-entropy objective on labeled data points, the misclassified unlabeled data points are pulled towards high-density regions of their correct class with the help of their neighbors, thus improving model performance. We demonstrate on semi-supervised benchmark datasets SVHN and CIFAR-10 that adding our LC loss to MT yields significant improvements compared to MT and performance comparable to the state of the art in semi-supervised learning.
Abstract（参考訳）: Tarvainen と Valpola の Mean Teacher (MT) モデルは、いくつかの半教師付きベンチマークデータセットで好成績を示した。 MTは、教師モデルの重みを学生モデルの重みの指数的な移動平均として維持し、入力の多様な摂動の下での確率予測のばらつきを最小限にする。しかし、MTは確認バイアス、すなわち誤った教師モデル予測の強化に悩まされていることが知られている。本研究では,検証バイアスの影響を軽減するために,ローカルクラスタリング (LC) と呼ばれる単純な手法を提案する。 MTでは、各データポイントはトレーニング中に他のポイントとは独立していると考えられるが、類似した特徴を共有する場合、データポイントは機能空間において互いに近接している可能性が高い。特徴空間内の隣接データ点間の対距離を最小化することにより,局所的にデータポイントをクラスタリングする。ラベル付きデータポイントの標準分類クロスエントロピー目標と組み合わせることで、誤分類されたラベル付きデータポイントは、隣人の助けを借りて、正しいクラスの高密度領域に引っ張られ、モデル性能が向上する。半教師付きベンチマークデータセット SVHN と CIFAR-10 を用いて,LC の損失を MT に付加すると,MT と比較して大幅に向上し,半教師付き学習における技術水準に匹敵する性能が得られた。

関連論文リスト

FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
論文参考訳（メタデータ） (2024-04-14T10:23:30Z)
Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-13T04:16:40Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
本稿では,FLにおけるラベル分布スキューについて検討する。本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
論文参考訳（メタデータ） (2022-09-01T02:56:39Z)
A semi-supervised Teacher-Student framework for surgical tool detection and localization [2.41710192205034]
外科的ツール検出のパラダイムにおいて,半教師付き学習(SSL)フレームワークを導入する。提案手法では,教師-学生共同学習を初期化するラベル付きデータを用いたモデルを訓練する。 m2cai16-tool-locations データセットの結果は、異なる教師付きデータ設定に対するアプローチの優位性を示している。
論文参考訳（メタデータ） (2022-08-21T17:21:31Z)
Contrastive Neighborhood Alignment [81.65103777329874]
本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
論文参考訳（メタデータ） (2022-01-06T04:58:31Z)
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文参考訳（メタデータ） (2020-08-09T21:13:13Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)
Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [5.352699766206807]
アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
論文参考訳（メタデータ） (2020-03-01T03:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。