論文の概要: Learning Provably Robust Estimators for Inverse Problems via Jittering

• arxiv url: http://arxiv.org/abs/2307.12822v1
• Date: Mon, 24 Jul 2023 14:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:02:32.227242
• Title: Learning Provably Robust Estimators for Inverse Problems via Jittering
• Title（参考訳）: ジッタリングによる逆問題に対する頑健な学習推定器
• Authors: Anselm Krainovic, Mahdi Soltanolkotabi, Reinhard Heckel
• Abstract要約: 簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
• 参考スコア（独自算出の注目度）: 51.467236126126366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks provide excellent performance for inverse problems such as denoising. However, neural networks can be sensitive to adversarial or worst-case perturbations. This raises the question of whether such networks can be trained efficiently to be worst-case robust. In this paper, we investigate whether jittering, a simple regularization technique that adds isotropic Gaussian noise during training, is effective for learning worst-case robust estimators for inverse problems. While well studied for prediction in classification tasks, the effectiveness of jittering for inverse problems has not been systematically investigated. In this paper, we present a novel analytical characterization of the optimal $\ell_2$-worst-case robust estimator for linear denoising and show that jittering yields optimal robust denoisers. Furthermore, we examine jittering empirically via training deep neural networks (U-nets) for natural image denoising, deconvolution, and accelerated magnetic resonance imaging (MRI). The results show that jittering significantly enhances the worst-case robustness, but can be suboptimal for inverse problems beyond denoising. Moreover, our results imply that training on real data which often contains slight noise is somewhat robustness enhancing.
• Abstract（参考訳）: ディープニューラルネットワークは、 denoisingのような逆問題に対して優れたパフォーマンスを提供する。 しかし、ニューラルネットワークは逆境や最悪の場合の摂動に敏感である。 これにより、このようなネットワークが最悪のケースで堅牢になるように効率的にトレーニングできるかどうかという疑問が持ち上がる。 本稿では,学習中に等方性ガウス雑音を付加する単純な正規化手法であるジッタリングが,逆問題に対する最悪ケースロバスト推定器の学習に有効かどうかを検討する。 分類タスクにおける予測についてよく研究されているが、逆問題に対するジッタリングの有効性は体系的に研究されていない。 本稿では,線形デノナイズのための最適$\ell_2$-worst-caseのロバスト推定器を新たに解析し,ジッタリングが最適ロバストデノナイザを生成することを示す。 さらに, 深部ニューラルネットワーク(U-nets)を訓練し, 地磁気共鳴イメージング(MRI)による自然画像のデノイング, デコンボリューション, および加速磁気共鳴イメージングについて検討した。 その結果,ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることが示された。 また,ノイズの少ない実データに対するトレーニングはやや堅牢性が向上することを示す。

関連論文リスト

• Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense [52.66971714830943]
  マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。 本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。 本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T12:37:24Z)
• To be or not to be stable, that is the question: understanding neural networks for inverse problems [0.0]
  本稿では,ニューラルネットワークの安定性と精度のトレードオフを理論的に解析する。 ネットワークの安定性を高め、良好な精度を維持するために、異なる教師付きおよび教師なしのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-24T16:16:40Z)
• Weak-signal extraction enabled by deep-neural-network denoising of diffraction data [26.36525764239897]
  深層畳み込みニューラルネットワークを用いて、データの復号化を図示する。 ノイズの多いデータでは、電荷の順序から生じる弱信号が可視化され、精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-09-19T14:43:01Z)
• Towards Adversarially Robust Deep Image Denoising [199.2458715635285]
  本研究は,ディープ・イメージ・デノイザ(DID)の対角的ロバスト性について系統的に検討する。 本稿では,観測に基づくゼロ平均アタック(sc ObsAtk)という新たな敵攻撃を提案する。 DIDを頑健化するために,DIDと非対向雑音データとを併用したハイブリッド対向訓練(sc HAT)を提案する。
  論文  参考訳（メタデータ） (2022-01-12T10:23:14Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• Dense-Sparse Deep Convolutional Neural Networks Training for Image Denoising [0.6215404942415159]
  畳み込みニューラルネットワークのような深層学習手法は、画像認知の領域で注目されている。 ディープラーニング畳み込み畳み込みニューラルネットワークは、バッチ正規化と残留学習の正規化メソッドを追加して、多くのフィードフォワード畳み込み層を使用して、トレーニングを高速化し、denoisingパフォーマンスを大幅に改善する。 本稿では,高密度スパース・デンス・ネットワークのトレーニング手法を深層化畳み込みニューラルネットワークに適用することにより,学習可能なパラメータを著しく削減できることを示す。
  論文  参考訳（メタデータ） (2021-07-10T15:14:19Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Image Denoising using Attention-Residual Convolutional Neural Networks [0.0]
  本稿では,学習に基づく新たな非盲検手法であるAttention Residual Convolutional Neural Network (ARCNN)を提案し,その拡張としてFlexible Attention Residual Convolutional Neural Network (FARCNN)を提案する。 ARCNNはガウス語とポアソン語で約0.44dBと0.96dBの平均PSNR結果を達成し、FARCNNはARCNNに比べて若干パフォーマンスが悪くても非常に一貫した結果を示した。
  論文  参考訳（メタデータ） (2021-01-19T16:37:57Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。