Fugu-MT 論文翻訳(概要): Boundary between noise and information applied to filtering neural network weight matrices

論文の概要: Boundary between noise and information applied to filtering neural network weight matrices

arxiv url: http://arxiv.org/abs/2206.03927v1
Date: Wed, 8 Jun 2022 14:42:36 GMT
ステータス: 処理完了
システム内更新日: 2022-06-09 15:04:48.883021
Title: Boundary between noise and information applied to filtering neural network weight matrices
Title（参考訳）: ニューラルネットワーク重み行列のフィルタリングにおける雑音と情報の境界
Authors: Max Staats, Matthias Thamm, Bernd Rosenow
Abstract要約: 本稿では,小さな特異値を取り除き,大きな特異値の大きさを小さくするノイズフィルタリングアルゴリズムを提案する。ラベルノイズの存在下で訓練されたネットワークでは,ノイズフィルタリングにより一般化性能が著しく向上することがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks have been successfully applied to a broad range of problems where overparametrization yields weight matrices which are partially random. A comparison of weight matrix singular vectors to the Porter-Thomas distribution suggests that there is a boundary between randomness and learned information in the singular value spectrum. Inspired by this finding, we introduce an algorithm for noise filtering, which both removes small singular values and reduces the magnitude of large singular values to counteract the effect of level repulsion between the noise and the information part of the spectrum. For networks trained in the presence of label noise, we indeed find that the generalization performance improves significantly due to noise filtering.
Abstract（参考訳）: 深層ニューラルネットワークは、オーバーパラメトリゼーションによって部分的にランダムな重み行列が得られる幅広い問題にうまく適用されてきた。重み行列特異ベクトルとポーター・トーマス分布の比較は、特異値スペクトルにランダム性と学習情報の境界が存在することを示唆している。この発見に触発されて、ノイズフィルタリングアルゴリズムを導入し、ノイズとスペクトルの情報部との間のレベル反発の効果を相殺するために、小さな特異値を取り除き、大きな特異値の大きさを小さくする。ラベルノイズの存在下でトレーニングされたネットワークでは,ノイズフィルタリングにより一般化性能が著しく向上することがわかった。

関連論文リスト

Linear Attention Based Deep Nonlocal Means Filtering for Multiplicative Noise Removal [0.0]
乗法ノイズはレーダー画像、医療画像、その他の重要な分野の画像に広く存在している。我々は、ディープラーニングを用いた非局所平均アルゴリズムを線形化し、線形アテンション機構に基づく深部非局所平均フィルタリング(LDNLM)を提案する。実乗法と模擬乗法の両方の実験により、LDNLMは最先端の手法よりも競争力が高いことが示された。
論文参考訳（メタデータ） (2024-07-06T14:22:07Z)
Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
構造スパイクモデルに対するベイズ推定の飽和問題を考える。適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
論文参考訳（メタデータ） (2024-05-31T16:38:35Z)
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments [13.49645012479288]
ノイズローバストオンラインデバーベレーションのためのニューラルネットワーク拡張アルゴリズムを提案する。提示されたフレームワークは、単一チャネルのノイズの多い残響データセット上で堅牢なデバーベレーションを可能にする。
論文参考訳（メタデータ） (2022-04-06T11:38:04Z)
The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文参考訳（メタデータ） (2022-03-02T13:59:20Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文参考訳（メタデータ） (2021-01-21T04:48:15Z)
Explicit Regularisation in Gaussian Noise Injections [64.11680298737963]
ガウスノイズインジェクション(GNI)によるニューラルネットワークの正規化の検討 GNIの明示的な正則化を導出する。このような正規化は、大きな分類マージンを持つ校正分類器を生成することを分析的かつ実証的に示す。
論文参考訳（メタデータ） (2020-07-14T21:29:46Z)
Surface Denoising based on Normal Filtering in a Robust Statistics Framework [2.294014185517203]
3Dスキャナーを用いた表面取得プロセスではノイズは避けられない。ノイズ除去処理(デノイング)は、表面正規化を先にフィルタリングすることで行うことができる。多くの利用可能な denoising アルゴリズムでは、ノイズフリーな正規化の堅牢性が重要な要素である。
論文参考訳（メタデータ） (2020-07-02T02:31:24Z)
Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文参考訳（メタデータ） (2020-06-15T18:31:02Z)
Sparse Mixture of Local Experts for Efficient Speech Enhancement [19.645016575334786]
本稿では,専門的ニューラルネットワークの効率的なアンサンブルを通して,音声を聴覚的に認識するためのディープラーニング手法について検討する。タスクを重複しないサブプロブレムに分割することで、計算複雑性を低減しつつ、デノナイジング性能を向上させることができる。以上の結果から,微調整されたアンサンブルネットワークは,一般のネットワークの発声能力を上回ることができることがわかった。
論文参考訳（メタデータ） (2020-05-16T23:23:22Z)
ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
論文参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。