論文の概要: A Unified Plug-and-Play Framework for Effective Data Denoising and
Robust Abstention
- arxiv url: http://arxiv.org/abs/2009.12027v1
- Date: Fri, 25 Sep 2020 04:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 22:13:28.364603
- Title: A Unified Plug-and-Play Framework for Effective Data Denoising and
Robust Abstention
- Title(参考訳): 効果的なデータデノイジングとロバストなアブステンションのための統一プラグイン・アンド・プレイフレームワーク
- Authors: Krishanu Sarker, Xiulong Yang, Yang Li, Saeid Belkasim and Shihao Ji
- Abstract要約: 基礎となるデータ密度を利用した統合フィルタリングフレームワークを提案する。
我々のフレームワークは、トレーニングデータを効果的にデノベートし、不確実なテストデータポイントの予測を避けることができる。
- 参考スコア(独自算出の注目度): 4.200576272300216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of Deep Neural Networks (DNNs) highly depends on data quality.
Moreover, predictive uncertainty makes high performing DNNs risky for
real-world deployment. In this paper, we aim to address these two issues by
proposing a unified filtering framework leveraging underlying data density,
that can effectively denoise training data as well as avoid predicting
uncertain test data points. Our proposed framework leverages underlying data
distribution to differentiate between noise and clean data samples without
requiring any modification to existing DNN architectures or loss functions.
Extensive experiments on multiple image classification datasets and multiple
CNN architectures demonstrate that our simple yet effective framework can
outperform the state-of-the-art techniques in denoising training data and
abstaining uncertain test data.
- Abstract(参考訳): Deep Neural Networks(DNN)の成功は、データ品質に大きく依存している。
さらに、予測の不確実性は、現実世界のデプロイメントにおいて高いパフォーマンスのDNNを危険にさらす。
本稿では,この2つの課題に対処するために,基礎となるデータ密度を利用した統合フィルタリングフレームワークを提案する。
提案フレームワークは,既存のDNNアーキテクチャや損失関数を変更することなく,ノイズとクリーンなデータサンプルを区別するために基盤となるデータ分布を利用する。
複数の画像分類データセットと複数のcnnアーキテクチャに関する広範囲な実験によって、我々のシンプルで効果的なフレームワークは、トレーニングデータを非表示化し、不確定なテストデータを保存する技術よりも優れています。
関連論文リスト
- A Real Benchmark Swell Noise Dataset for Performing Seismic Data Denoising via Deep Learning [34.163242023030016]
本稿では, 実データ上に実装されたフィルタリングプロセスから抽出したノイズにより, 合成地震データからなるベンチマークデータセットを提案する。
地震探査のための新しいソリューションの開発を加速するためのベンチマークとして提案されている。
その結果, DLモデルは地震探査に有効であることがわかったが, 未解決の問題も残されている。
論文 参考訳(メタデータ) (2024-10-02T13:06:18Z) - An Embedding is Worth a Thousand Noisy Labels [0.11999555634662634]
本稿では,重み付けされたアダプティブNearest Neighborアプローチを用いてラベルノイズに対処するWANNを提案する。
WANNの参照手法は、様々な大きさの多様なデータセットや、様々なノイズタイプや重大さで優れていることを示す。
私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。
論文 参考訳(メタデータ) (2024-08-26T15:32:31Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Confidence-based Reliable Learning under Dual Noises [46.45663546457154]
ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。
しかし、オープンワールドから収集されたデータはノイズによって必然的に汚染され、学習されたモデルの有効性を著しく損なう可能性がある。
データノイズ下でDNNを確実に訓練する様々な試みがなされているが、ラベルに存在するノイズと画像に存在するノイズを別々に考慮している。
この作業は、ジョイント(イメージ、ラベル)ノイズの下での信頼性学習のための、最初の統一されたフレームワークを提供する。
論文 参考訳(メタデータ) (2023-02-10T07:50:34Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳(メタデータ) (2022-12-20T18:58:33Z) - Adaptive Adversarial Training to Improve Adversarial Robustness of DNNs
for Medical Image Segmentation and Detection [2.2977141788872366]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
SAT(Standard Adversarial Training)法は,その実用性に限界がある。
本手法は,ノイズデータとクリーンデータの予測精度において,SAT法よりも高い性能を示すことを示す。
論文 参考訳(メタデータ) (2022-06-02T20:17:53Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - DeepRepair: Style-Guided Repairing for DNNs in the Real-world
Operational Environment [27.316150020006916]
本稿では,Deep Neural Networks (DNN) を運用環境で修復するためのスタイル誘導型データ拡張手法を提案する。
本稿では,故障データ中の未知の故障パターンをデータ拡張によるトレーニングデータに学習し,導入するためのスタイル転送手法を提案する。
論文 参考訳(メタデータ) (2020-11-19T15:09:44Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳(メタデータ) (2020-07-01T04:48:49Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。