論文の概要: Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection
- arxiv url: http://arxiv.org/abs/2007.12211v1
- Date: Thu, 23 Jul 2020 18:47:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:58:59.867017
- Title: Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection
- Title(参考訳): 雑音検出のためのバックプロパゲーションの交替による雑音対応エンコーダデコーダの学習
- Authors: Jing Zhang, Jianwen Xie, Nick Barnes
- Abstract要約: 本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
- 参考スコア(独自算出の注目度): 54.98042023365694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a noise-aware encoder-decoder framework to
disentangle a clean saliency predictor from noisy training examples, where the
noisy labels are generated by unsupervised handcrafted feature-based methods.
The proposed model consists of two sub-models parameterized by neural networks:
(1) a saliency predictor that maps input images to clean saliency maps, and (2)
a noise generator, which is a latent variable model that produces noises from
Gaussian latent vectors. The whole model that represents noisy labels is a sum
of the two sub-models. The goal of training the model is to estimate the
parameters of both sub-models, and simultaneously infer the corresponding
latent vector of each noisy label. We propose to train the model by using an
alternating back-propagation (ABP) algorithm, which alternates the following
two steps: (1) learning back-propagation for estimating the parameters of two
sub-models by gradient ascent, and (2) inferential back-propagation for
inferring the latent vectors of training noisy examples by Langevin Dynamics.
To prevent the network from converging to trivial solutions, we utilize an
edge-aware smoothness loss to regularize hidden saliency maps to have similar
structures as their corresponding images. Experimental results on several
benchmark datasets indicate the effectiveness of the proposed model.
- Abstract(参考訳): 本稿では,教師なし特徴量に基づく手法により雑音ラベルを生成できる,ノイズ検出型エンコーダ・デコーダフレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから成り、(1)入力画像をクリーンなサリエンシーマップにマッピングするサリエンシー予測器、(2)ガウスの潜在ベクターからノイズを生成する潜在変数モデルであるノイズ生成器である。
ノイズラベルを表すモデル全体は、2つのサブモデルの合計である。
モデルのトレーニングの目的は、両方のサブモデルのパラメータを推定し、各ノイズラベルの対応する潜在ベクトルを同時に推測することである。
本研究では,(1)勾配上昇による2つのサブモデルのパラメータ推定のための学習バックプロパゲーション,(2)ランジュバンダイナミクスによる学習例の潜在ベクトル推定のための推論バックプロパゲーション,の2つのステップを交互に用いて,モデルのトレーニングを提案する。
ネットワークが収束して自明な解になるのを防ぐため、エッジ対応の滑らかさ損失を利用して、隠れたサリエンシマップを対応する画像と類似した構造を持つように調整する。
いくつかのベンチマークデータセットにおける実験結果は,提案モデルの有効性を示している。
関連論文リスト
- Bayesian identification of nonseparable Hamiltonians with multiplicative noise using deep learning and reduced-order modeling [0.5999777817331317]
本稿では,非分離型ハミルトニアン系を学習するための構造保存型ベイズ的アプローチを提案する。
本研究では,ハイ次元システムに対するベイズ同定のコスト効率向上のための新しいアルゴリズムを開発した。
訓練目的としてベイズ後部を使用すれば,ハミルトン平均二乗誤差の724倍の改善が得られることを示す。
論文 参考訳(メタデータ) (2024-01-23T04:05:26Z) - Label Denoising through Cross-Model Agreement [43.5145547124009]
ノイズのあるラベルを記憶することはモデルの学習に影響を与え、準最適性能をもたらす可能性がある。
雑音ラベルから堅牢な機械学習モデルを学習するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-27T00:31:04Z) - Doubly Stochastic Models: Learning with Unbiased Label Noises and
Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。
そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。
我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文 参考訳(メタデータ) (2023-04-01T14:09:07Z) - Denoising Deep Generative Models [23.19427801594478]
様相に基づく深層生成モデルは、多様体仮説の下での病理学的挙動を示すことが示されている。
この問題に対処するための2つの手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T19:00:00Z) - On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。
本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。
我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
論文 参考訳(メタデータ) (2022-11-29T03:01:48Z) - Noise Distribution Adaptive Self-Supervised Image Denoising using
Tweedie Distribution and Score Matching [29.97769511276935]
本研究では,現代の深層学習においてTweedie分布が重要な役割を担っていることを示す。
具体的には、最近のNoss2Score自己教師型画像復調法とTweedie分布のサドル点近似を組み合わせることで、一般の閉形式復調式を提供することができる。
提案手法は, ノイズモデルとパラメータを正確に推定し, ベンチマークデータセットと実世界のデータセットで, 最先端の自己教師付き画像復調性能を提供する。
論文 参考訳(メタデータ) (2021-12-05T04:36:08Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。
そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。
6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
論文 参考訳(メタデータ) (2020-09-07T13:01:45Z) - Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-25T07:36:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。