Fugu-MT 論文翻訳(概要): Smooth Pseudo-Labeling

論文の概要: Smooth Pseudo-Labeling

arxiv url: http://arxiv.org/abs/2405.14313v1
Date: Thu, 23 May 2024 08:33:07 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 18:04:42.716028
Title: Smooth Pseudo-Labeling
Title（参考訳）: Smooth Pseudo-Labeling
Authors: Nikolaos Karaliolios, Hervé Le Borgne, Florian Chabot,
Abstract要約: 半教師付き学習(SSL)における実りある方法は擬似ラベル(PL)である PLは、関連する損失関数が誘導体に不連続性を持つという重要な欠点に悩まされており、ラベルが極めて少ない場合に性能が不安定になる。ラベル付き画像がデータセット全体からランダムに選択され、データセットの頻度に比例する各クラスの表現を含まない新しいベンチマークを導入する。
参考スコア（独自算出の注目度）: 4.1569253650826195
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Semi-Supervised Learning (SSL) seeks to leverage large amounts of non-annotated data along with the smallest amount possible of annotated data in order to achieve the same level of performance as if all data were annotated. A fruitful method in SSL is Pseudo-Labeling (PL), which, however, suffers from the important drawback that the associated loss function has discontinuities in its derivatives, which cause instabilities in performance when labels are very scarce. In the present work, we address this drawback with the introduction of a Smooth Pseudo-Labeling (SP L) loss function. It consists in adding a multiplicative factor in the loss function that smooths out the discontinuities in the derivative due to thresholding. In our experiments, we test our improvements on FixMatch and show that it significantly improves the performance in the regime of scarce labels, without addition of any modules, hyperparameters, or computational overhead. In the more stable regime of abundant labels, performance remains at the same level. Robustness with respect to variation of hyperparameters and training parameters is also significantly improved. Moreover, we introduce a new benchmark, where labeled images are selected randomly from the whole dataset, without imposing representation of each class proportional to its frequency in the dataset. We see that the smooth version of FixMatch does appear to perform better than the original, non-smooth implementation. However, more importantly, we notice that both implementations do not necessarily see their performance improve when labeled images are added, an important issue in the design of SSL algorithms that should be addressed so that Active Learning algorithms become more reliable and explainable.
Abstract（参考訳）: Semi-Supervised Learning (SSL)は、アノテートされたデータと同じレベルのパフォーマンスを達成するために、アノテートされたデータの最小量とともに、大量の非アノテートされたデータを活用することを目指している。 SSLにおける実りある方法として Pseudo-Labeling (PL) があるが、これは関連する損失関数がその導関数に不連続性を持つという重大な欠点に悩まされており、ラベルが極めて少ない場合に性能が不安定になる。本研究では,Smooth Pseudo-Labeling (SP L)損失関数の導入により,この欠点に対処する。損失関数に乗法因子を加えることで、しきい値による微分の不連続性を滑らかにする。実験では,FixMatchの改良を検証し,モジュールやハイパーパラメータ,計算オーバーヘッドを伴わずに,ラベルの少ない状態における性能を著しく向上させることを示した。豊富なラベルのより安定した状態においては、パフォーマンスは同じレベルにとどまっている。ハイパーパラメータやトレーニングパラメータの変動に対するロバスト性も大幅に改善された。さらに、ラベル付き画像がデータセット全体からランダムに選択され、データセットの頻度に比例する各クラスの表現を含まない新しいベンチマークを導入する。 FixMatchのスムーズなバージョンは、オリジナルの非スムーズな実装よりもパフォーマンスがよいように見えます。しかし、さらに重要なのは、ラベル付き画像を追加すると、両方の実装が必ずしもパフォーマンスが向上しないことだ。これは、アクティブラーニングアルゴリズムがより信頼性が高く説明しやすいように対処すべきSSLアルゴリズムの設計において重要な問題である。

関連論文リスト

An Embedding is Worth a Thousand Noisy Labels [0.11999555634662634]
本稿では,重み付けされたアダプティブNearest Neighborアプローチを用いてラベルノイズに対処するWANNを提案する。 WANNの参照手法は、様々な大きさの多様なデータセットや、様々なノイズタイプや重大さで優れていることを示す。私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。
論文参考訳（メタデータ） (2024-08-26T15:32:31Z)
ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文参考訳（メタデータ） (2023-12-13T17:59:07Z)
All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文参考訳（メタデータ） (2023-05-25T08:19:31Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Complementing Semi-Supervised Learning with Uncertainty Quantification [6.612035830987296]
そこで本研究では,アレータ性およびてんかん性不確実性定量化に依存する,教師なし不確実性認識の新たな目的を提案する。 CIFAR-100やMini-ImageNetのような複雑なデータセットでは,結果が最先端の成果よりも優れています。
論文参考訳（メタデータ） (2022-07-22T00:15:02Z)
The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data [3.1274367448459253]
自己学習 (ST) は単純だが効果的な半教師あり学習法である。我々は,STが反復数に応じて異なる方法で一般化を改善することを示す。
論文参考訳（メタデータ） (2022-05-16T15:02:44Z)
Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文参考訳（メタデータ） (2021-09-01T23:52:29Z)
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文参考訳（メタデータ） (2021-01-15T23:29:57Z)
Boosting the Performance of Semi-Supervised Learning with Unsupervised Clustering [10.033658645311188]
学習中の間欠的にラベルを完全に無視することは,小サンプル体制における性能を著しく向上させることを示す。本手法は,最先端のSSLアルゴリズムの高速化に有効であることを示す。
論文参考訳（メタデータ） (2020-12-01T14:19:14Z)
PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。提案手法の有効性を,低データと高データの両方において示す。
論文参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。