論文の概要: Neighborhood-Regularized Self-Training for Learning with Few Labels

• arxiv url: http://arxiv.org/abs/2301.03726v1
• Date: Tue, 10 Jan 2023 00:07:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 16:27:53.981853
• Title: Neighborhood-Regularized Self-Training for Learning with Few Labels
• Title（参考訳）: ラベル数が少ない学習のための近傍正規化自己学習
• Authors: Ran Xu, Yue Yu, Hejie Cui, Xuan Kan, Yanqiao Zhu, Joyce Ho, Chao Zhang, Carl Yang
• Abstract要約: 自己学習の欠点の1つは、誤った擬似ラベルからのラベルノイズに弱いことである。 そこで我々は, 周辺住民によるサンプル選択手法を開発し, ノイズのある擬似ラベルの問題に対処する。 提案したデータ選択戦略は擬似ラベルのノイズを36.8%削減し、最良のベースラインと比較して57.3%の時間を節約する。
• 参考スコア（独自算出の注目度）: 21.7848889781112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) with limited supervision has been a popular research topic as it can significantly alleviate the annotation burden. Self-training has been successfully applied in semi-supervised learning tasks, but one drawback of self-training is that it is vulnerable to the label noise from incorrect pseudo labels. Inspired by the fact that samples with similar labels tend to share similar representations, we develop a neighborhood-based sample selection approach to tackle the issue of noisy pseudo labels. We further stabilize self-training via aggregating the predictions from different rounds during sample selection. Experiments on eight tasks show that our proposed method outperforms the strongest self-training baseline with 1.83% and 2.51% performance gain for text and graph datasets on average. Our further analysis demonstrates that our proposed data selection strategy reduces the noise of pseudo labels by 36.8% and saves 57.3% of the time when compared with the best baseline. Our code and appendices will be uploaded to https://github.com/ritaranx/NeST.
• Abstract（参考訳）: 詳細なニューラルネットワーク(DNN)を限定的な監視でトレーニングすることは、アノテーションの負担を大幅に軽減できるため、一般的な研究トピックである。 自己学習は半教師付き学習タスクでうまく適用されているが、自己学習の欠点は、誤った擬似ラベルからのラベルノイズに弱いことである。 類似ラベルを持つサンプルが類似表現を共有する傾向にあるという事実にインスパイアされた我々は、うるさい擬似ラベルの問題に取り組むために、近隣のサンプル選択アプローチを開発する。 さらに,サンプル選択時に異なるラウンドからの予測を集約することで,自己学習を安定化する。 8つのタスクの実験結果から,提案手法はテキストとグラフのデータセットの平均値において,1.83%,2.51%で最強の自己学習ベースラインを上回った。 さらに,提案手法により疑似ラベルのノイズを36.8%低減し,最適なベースラインと比較した場合,57.3%の時間を節約できることを示した。 私たちのコードと付録はhttps://github.com/ritaranx/NeSTにアップロードされます。

関連論文リスト

• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Class adaptive threshold and negative class guided noisy annotation robust Facial Expression Recognition [3.823356975862006]
  ラベル付けは、アノテータ、画像の明快さなどに基づいているため、本質的にデータセットにノイズの多いアノテーションが存在する。 最近の研究は、FERにおけるこのノイズの多いアノテーション問題を解決するためにサンプル選択法を用いている。 私たちの研究では、動的適応しきい値を使用して、信頼できないサンプルから信頼できないサンプルを分離し、信頼できないサンプルのために学習が妨げられないようにします。
  論文  参考訳（メタデータ） (2023-05-03T04:28:49Z)
• LOPS: Learning Order Inspired Pseudo-Label Selection for Weakly Supervised Text Classification [28.37907856670151]
  擬似ラベルは性質上ノイズが多いため、正しいラベルを選択すると性能が向上する可能性がある。 本稿では,サンプルの学習順序を考慮に入れた新しい擬似ラベル選択手法LOPSを提案する。 LOPSは、既存の弱い教師付きテキスト分類手法のほとんどに対して、強力なパフォーマンスブーストプラグインと見なすことができる。
  論文  参考訳（メタデータ） (2022-05-25T06:46:48Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• A new weakly supervised approach for ALS point cloud semantic segmentation [1.4620086904601473]
  本稿では,ALS点雲のセマンティックセグメンテーションのための,ディープラーニングに基づく弱教師付きフレームワークを提案する。 不完全でスパースなラベルの対象となるラベルのないデータから潜在的情報を利用する。 本手法は, 総合精度が83.0%, 平均F1スコアが70.0%であり, それぞれ6.9%, 12.8%増加した。
  論文  参考訳（メタデータ） (2021-10-04T14:00:23Z)
• Weakly Supervised Pseudo-Label assisted Learning for ALS Point Cloud Semantic Segmentation [1.4620086904601473]
  競合ポイントクラウドの結果は通常、大量のラベル付きデータに依存します。 本研究では,基礎的事実を限定した正確な結果を得るための擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2021-05-05T08:07:21Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。