論文の概要: Disturbing Target Values for Neural Network Regularization

• arxiv url: http://arxiv.org/abs/2110.05003v1
• Date: Mon, 11 Oct 2021 05:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:57:52.519660
• Title: Disturbing Target Values for Neural Network Regularization
• Title（参考訳）: ニューラルネットワーク規則化のための乱れ目標値
• Authors: Yongho Kim, Hanna Lukashonak, Paweena Tarepakdee, Klavdia Zavalich, Mofassir ul Islam Arif
• Abstract要約: Directional DisturbLabel (DDL) は、信頼性のあるラベルを推測するためにクラス確率を利用する新しい正規化手法である。 DDLはトレーニング中にモデルの振る舞いを使用して、より指示的な方法でモデルを正規化します。 本稿では, 分類タスクと回帰タスクにおける手法の頑健性を評価するために, 6 と 8 のデータセットを用いた。
• 参考スコア（独自算出の注目度）: 1.5574423250822542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diverse regularization techniques have been developed such as L2 regularization, Dropout, DisturbLabel (DL) to prevent overfitting. DL, a newcomer on the scene, regularizes the loss layer by flipping a small share of the target labels at random and training the neural network on this distorted data so as to not learn the training data. It is observed that high confidence labels during training cause the overfitting problem and DL selects disturb labels at random regardless of the confidence of labels. To solve this shortcoming of DL, we propose Directional DisturbLabel (DDL) a novel regularization technique that makes use of the class probabilities to infer the confident labels and using these labels to regularize the model. This active regularization makes use of the model behavior during training to regularize it in a more directed manner. To address regression problems, we also propose DisturbValue (DV), and DisturbError (DE). DE uses only predefined confident labels to disturb target values. DV injects noise into a portion of target values at random similar to DL. In this paper, 6 and 8 datasets are used to validate the robustness of our methods in classification and regression tasks respectively. Finally, we demonstrate that our methods are either comparable to or outperform DisturbLabel, L2 regularization, and Dropout. Also, we achieve the best performance in more than half the datasets by combining our methods with either L2 regularization or Dropout.
• Abstract（参考訳）: L2正則化やDropout, DisturbLabel (DL) などの多種多様な正則化技術が開発されている。 シーンの新参者であるdlは、ランダムにターゲットラベルのごく一部を反転させ、この歪んだデータでニューラルネットワークを訓練することで、トレーニングデータを学習しないようにロス層を定式化する。 トレーニング中の高信頼ラベルは過適合問題を引き起こし,DLはラベルの信頼性に関わらず乱れラベルをランダムに選択する。 このようなDLの欠点を解決するために,信頼性ラベルを推論し,それらのラベルを用いてモデルを正規化するための新しい正規化手法である Directional DisturbLabel (DDL) を提案する。 このアクティブな正則化は、トレーニング中のモデルの振る舞いを利用して、より指示的な方法で正則化する。 回帰問題に対処するために、DisturbValue (DV) と DisturbError (DE) も提案する。 DEは、目標値を乱すために、事前定義された確実性ラベルのみを使用する。 DVはDLに似たランダムなターゲット値の一部にノイズを注入する。 本稿では, 分類タスクと回帰タスクにおける手法の頑健性を評価するために, 6 と 8 のデータセットを用いた。 最後に,本手法がtourlabel,l2正規化,dropoutに匹敵する,あるいは比較可能であることを示す。 また,本手法とl2正規化とドロップアウトを組み合わせることで,データセットの半分以上で最高の性能を実現する。

関連論文リスト

• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Partial-Label Regression [54.74984751371617]
  部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。 部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。 本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
  論文  参考訳（メタデータ） (2023-06-15T09:02:24Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation [21.163070161951868]
  半消費学習(SSL)は、教師なしデータをトレーニングに組み込むことで、大きなラベル付きデータセットの必要性を減らすことができる。 現在のSSLアプローチでは、初期教師付きトレーニングモデルを使用して、擬似ラベルと呼ばれる未ラベル画像の予測を生成する。 擬似ラベルノイズと誤りを3つのメカニズムで制御する。
  論文  参考訳（メタデータ） (2022-10-19T09:46:27Z)
• Two Wrongs Don't Make a Right: Combating Confirmation Bias in Learning with Label Noise [6.303101074386922]
  Robust Label Refurbishment (Robust LR) は、擬似ラベルと信頼度推定技術を組み込んだ新しいハイブリッド手法である。 本手法はラベルノイズと確認バイアスの両方の損傷を軽減できることを示す。 例えば、Robust LRは、実世界のノイズデータセットであるWebVisionにおいて、以前の最高値よりも最大4.5%の絶対的トップ1精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-12-06T12:10:17Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。