論文の概要: Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels

• arxiv url: http://arxiv.org/abs/2003.11904v1
• Date: Thu, 26 Mar 2020 13:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 21:24:08.037168
• Title: Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels
• Title（参考訳）: 行列平滑化:DNNの雑音下での遷移行列の正規化
• Authors: Xianbin Lv, Dongxian Wu, Shu-Tao Xia
• Abstract要約: ノイズラベルの存在下でのディープニューラルネットワーク(DNN)のトレーニングは重要かつ困難な課題である。 最近の確率論的手法はDNNへの遷移行列を直接適用し、DNNの過剰適合に対する感受性を無視する。 そこで本稿では,DNN更新にスムーズな遷移行列を用いてオーバーフィッティングを制限する手法を提案する。
• 参考スコア（独自算出の注目度）: 54.585681272543056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) in the presence of noisy labels is an important and challenging task. Probabilistic modeling, which consists of a classifier and a transition matrix, depicts the transformation from true labels to noisy labels and is a promising approach. However, recent probabilistic methods directly apply transition matrix to DNN, neglect DNN's susceptibility to overfitting, and achieve unsatisfactory performance, especially under the uniform noise. In this paper, inspired by label smoothing, we proposed a novel method, in which a smoothed transition matrix is used for updating DNN, to restrict the overfitting of DNN in probabilistic modeling. Our method is termed Matrix Smoothing. We also empirically demonstrate that our method not only improves the robustness of probabilistic modeling significantly, but also even obtains a better estimation of the transition matrix.
• Abstract（参考訳）: ノイズラベルの存在下でのディープニューラルネットワーク(DNN)のトレーニングは重要かつ困難な課題である。 確率的モデリングは分類器と遷移行列から構成され、真ラベルから雑音ラベルへの変換を描いており、有望なアプローチである。 しかし、近年の確率論的手法は、DNNへの遷移行列を直接適用し、DNNの過度な適合性を無視し、特に一様雑音下では不満足な性能を達成する。 本稿では,ラベルスムーシングにヒントを得て,DNNの更新にスムーズな遷移行列を用いることで,確率的モデリングにおけるDNNの過度な適合を抑える手法を提案する。 本手法はMatrix Smoothing と呼ばれる。 また,本手法は確率モデリングのロバスト性を大幅に向上させるだけでなく,遷移行列の推定精度も向上することを示した。

関連論文リスト

• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver [4.364088891019632]
  我々は、RNNに基づく効率的なIsingモデル解法、Criticality-ordered Recurrent Mean Field (CoRMF)を提案する。 基礎となるIsingグラフの近似木構造を利用することで、新しく得られた臨界度順序は、変動平均場とRNNの統一を可能にする。 CoRFMはデータ/証拠のない自己学習方式でIsing問題を解き、RNNから直接サンプリングすることで推論タスクを実行することができる。
  論文  参考訳（メタデータ） (2024-03-05T16:55:06Z)
• Dirichlet-based Per-Sample Weighting by Transition Matrix for Noisy Label Learning [18.688802981093644]
  本稿では,再サンプリングに基づく新しい利用法 RENT を提案する。 Rentは、さまざまなベンチマークデータセット上で、再重み付けを含む既存の遷移行列利用法を一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-05T06:20:49Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels [86.5943044285146]
  ラベルノイズ遷移行列$T$は、真のラベルがノイズのあるものへと反転する確率を反映する。 本稿では,閉集合と開集合の混在したラベル雑音下での学習に着目した。 本手法は,従来の最先端のラベル雑音学習法よりも頑健な性能を追求し,混合ラベル雑音をモデル化する。
  論文  参考訳（メタデータ） (2020-12-02T02:42:45Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Dual T: Reducing Estimation Error for Transition Matrix in Label-noise Learning [157.2709657207203]
  遷移行列を推定する既存の方法は、ノイズのあるクラス後部を推定することに大きく依存している。 雑音のクラス後部を直接推定するのを避けるために中間クラスを導入する。 この中間クラスにより、元の遷移行列は2つの容易に推定できる遷移行列の積に分解できる。
  論文  参考訳（メタデータ） (2020-06-14T05:48:20Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。