論文の概要: Delving Deep into Label Smoothing

• arxiv url: http://arxiv.org/abs/2011.12562v2
• Date: Thu, 22 Jul 2021 08:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 02:54:14.391974
• Title: Delving Deep into Label Smoothing
• Title（参考訳）: ラベルの平滑化に深く乗り込む
• Authors: Chang-Bin Zhang, Peng-Tao Jiang, Qibin Hou, Yunchao Wei, Qi Han, Zhen Li, Ming-Ming Cheng
• Abstract要約: ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
• 参考スコア（独自算出の注目度）: 112.24527926373084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label smoothing is an effective regularization tool for deep neural networks (DNNs), which generates soft labels by applying a weighted average between the uniform distribution and the hard label. It is often used to reduce the overfitting problem of training DNNs and further improve classification performance. In this paper, we aim to investigate how to generate more reliable soft labels. We present an Online Label Smoothing (OLS) strategy, which generates soft labels based on the statistics of the model prediction for the target category. The proposed OLS constructs a more reasonable probability distribution between the target categories and non-target categories to supervise DNNs. Experiments demonstrate that based on the same classification models, the proposed approach can effectively improve the classification performance on CIFAR-100, ImageNet, and fine-grained datasets. Additionally, the proposed method can significantly improve the robustness of DNN models to noisy labels compared to current label smoothing approaches.
• Abstract（参考訳）: ラベル平滑化はディープニューラルネットワーク(DNN)の効果的な正規化ツールであり、均一分布とハードラベルの間の重み付き平均を適用してソフトラベルを生成する。 DNNのトレーニングにおける過度な適合問題を軽減し、さらに分類性能を向上させるためにしばしば使用される。 本稿では,より信頼性の高いソフトラベルを生成する方法について検討する。 本稿では,対象カテゴリーのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(ols)戦略を提案する。 提案するOLSは, DNNを監督するために, 対象カテゴリと非対象カテゴリ間のより合理的な確率分布を構築する。 実験により,同じ分類モデルに基づいて,CIFAR-100, ImageNet, きめ細かいデータセットの分類性能を効果的に向上できることを示した。 さらに,提案手法は,現行のラベル平滑化手法と比較して,DNNモデルの雑音ラベルに対する堅牢性を大幅に向上させることができる。

関連論文リスト

• Improving Time Series Classification with Representation Soft Label Smoothing [3.3470010424473036]
  これまでの研究では、時系列分類(TSC)タスクのためのディープニューラルネットワークベースのモデルが過度に適合する傾向があることが示されている。 本稿では,より信頼性の高いソフトラベルを生成するための新しい手法を提案する。 本手法は, 構造や複雑さの異なるモデルに対して, 強靭な性能を示す。
  論文  参考訳（メタデータ） (2024-08-30T04:50:27Z)
• An Embedding is Worth a Thousand Noisy Labels [0.11999555634662634]
  本稿では,重み付けされたアダプティブNearest Neighborアプローチを用いてラベルノイズに対処するWANNを提案する。 WANNの参照手法は、様々な大きさの多様なデータセットや、様々なノイズタイプや重大さで優れていることを示す。 私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-08-26T15:32:31Z)
• Posterior Label Smoothing for Node Classification [2.737276507021477]
  本稿では,トランスダクティブノード分類タスクに対して,単純かつ効果的なラベル平滑化を提案する。 本研究では, ソフトラベルを設計し, 周辺ラベル分布を通じて対象ノードの局所的コンテキストをカプセル化する。 以下の分析結果から,大域的なラベル統計を後続計算に組み込むことが,ラベル平滑化の成功の鍵であることが判明した。
  論文  参考訳（メタデータ） (2024-06-01T11:59:49Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• RankMatch: A Novel Approach to Semi-Supervised Label Distribution Learning Leveraging Inter-label Correlations [52.549807652527306]
  本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。 RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。 我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T12:47:29Z)
• Balancing Efficiency vs. Effectiveness and Providing Missing Label Robustness in Multi-Label Stream Classification [3.97048491084787]
  ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。 本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。 我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
  論文  参考訳（メタデータ） (2023-10-01T13:23:37Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• Unified Robust Training for Graph NeuralNetworks against Label Noise [12.014301020294154]
  半監督設定でノイズの多いラベルをグラフ上で学習するための新しいフレームワークである UnionNET を提案します。 提案手法は,GNNを頑健に訓練し,ラベル修正を同時に行うための統一的なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-03-05T01:17:04Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。