論文の概要: Generation and Analysis of Feature-Dependent Pseudo Noise for Training Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2105.10796v1
• Date: Sat, 22 May 2021 19:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:07:06.256013
• Title: Generation and Analysis of Feature-Dependent Pseudo Noise for Training Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワーク学習のための特徴依存擬似ノイズの生成と解析
• Authors: Sree Ram Kamabattula, Kumudha Musini, Babak Namazi, Ganesh Sankaranarayanan, Venkat Devarajan
• Abstract要約: ノイズの多いラベル付きデータセット上でディープニューラルネットワーク(DNN)をトレーニングすることは難しい問題である。 そこで我々は,DNNのトレーニング予測を,真のラベル情報を保持するクリーンデータセット上で利用することにより,特徴依存型ノイズデータセットを作成するための直感的なアプローチを提案する。 我々は,Pseudoノイズデータセットが,異なる条件における特徴依存ノイズデータセットに類似していることを確認するために,いくつかの実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Deep neural networks (DNNs) on noisy labeled datasets is a challenging problem, because learning on mislabeled examples deteriorates the performance of the network. As the ground truth availability is limited with real-world noisy datasets, previous papers created synthetic noisy datasets by randomly modifying the labels of training examples of clean datasets. However, no final conclusions can be derived by just using this random noise, since it excludes feature-dependent noise. Thus, it is imperative to generate feature-dependent noisy datasets that additionally provide ground truth. Therefore, we propose an intuitive approach to creating feature-dependent noisy datasets by utilizing the training predictions of DNNs on clean datasets that also retain true label information. We refer to these datasets as "Pseudo Noisy datasets". We conduct several experiments to establish that Pseudo noisy datasets resemble feature-dependent noisy datasets across different conditions. We further randomly generate synthetic noisy datasets with the same noise distribution as that of Pseudo noise (referred as "Randomized Noise") to empirically show that i) learning is easier with feature-dependent label noise compared to random noise, ii) irrespective of noise distribution, Pseudo noisy datasets mimic feature-dependent label noise and iii) current training methods are not generalizable to feature-dependent label noise. Therefore, we believe that Pseudo noisy datasets will be quite helpful to study and develop robust training methods.
• Abstract（参考訳）: ノイズの多いラベル付きデータセット上でのディープニューラルネットワーク(dnn)のトレーニングは、誤ったラベル付き例による学習がネットワークのパフォーマンスを低下させるため、難しい問題である。 現実のノイズの多いデータセットに限られているため、以前の論文では、クリーンなデータセットのトレーニング例のラベルをランダムに修正して合成ノイズの多いデータセットを作成していた。 しかし、特徴依存ノイズを除外するため、このランダムノイズのみを用いることで最終的な結論は導出できない。 したがって、基礎的真理を付加する特徴依存ノイズデータセットを生成することが不可欠である。 そこで本稿では,真のラベル情報を保持するクリーンデータセット上でのDNNのトレーニング予測を利用して,特徴依存型ノイズデータセットを作成するための直感的なアプローチを提案する。 これらのデータセットを "Pseudo Noisy datasets" と呼ぶ。 疑似ノイズデータセットが様々な条件における特徴依存ノイズデータセットに類似していることを示すため,いくつかの実験を行った。 さらに, 擬似雑音と同じ雑音分布を持つ合成雑音データセット(「ランダム雑音」と呼ばれる)をランダムに生成し, i) 特徴依存ラベルノイズをランダムノイズと比較した場合の学習が容易であること, ii) 雑音分布によらず, 擬似雑音データセットが特徴依存ラベルノイズを模倣すること, iii) 現在の学習方法は特徴依存ラベルノイズには一般化しないことを示す。 したがって, Pseudo noisy データセットは, 頑健なトレーニング手法の研究・開発に有効であると考えられる。

関連論文リスト

• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Generating the Ground Truth: Synthetic Data for Soft Label and Label Noise Research [0.0]
  実世界のデータからノイズのないデータセットを作成するためのフレームワークであるSynLABELを紹介する。 ラベルノイズを精度よく定量化する能力と,既存の手法による改善を実証する。
  論文  参考訳（メタデータ） (2023-09-08T13:31:06Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations [54.400167806154535]
  ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。 本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。 実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
  論文  参考訳（メタデータ） (2021-10-22T22:42:11Z)
• The potential of self-supervised networks for random noise suppression in seismic data [0.0]
  ブラインド・スポット・ネットワークは地震データにおけるランダムノイズの効率的な抑制効果を示す。 結果は、FXデコンボリューションとCurvelet変換という2つの一般的なランダムな復調手法と比較される。 これは、地震の応用における自己教師あり学習の活用の始まりにすぎないと我々は信じている。
  論文  参考訳（メタデータ） (2021-09-15T14:57:43Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Adaptive noise imitation for image denoising [58.21456707617451]
  本研究では,自然雑音画像からノイズデータを合成できる新しいテキストバッファ適応ノイズ模倣(ADANI)アルゴリズムを開発した。 現実的なノイズを生成するため、ノイズ発生装置はノイズ発生のガイドとなる雑音/クリーン画像を入力として利用する。 ADANIから出力されるノイズデータとそれに対応する基盤構造とを結合すると、デノイングCNNは、完全に教師された方法で訓練される。
  論文  参考訳（メタデータ） (2020-11-30T02:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。