論文の概要: Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk
Estimator Approach
- arxiv url: http://arxiv.org/abs/2307.16708v4
- Date: Thu, 5 Oct 2023 17:34:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 05:10:05.376763
- Title: Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk
Estimator Approach
- Title(参考訳): Deep LearningがAdaptive Filteringと出会う: スタインの偏見のないリスク推定手法
- Authors: Zahra Esmaeilbeig and Mojtaba Soltanalian
- Abstract要約: 本稿では,Deep RLSとDeep EASIというタスクベースのディープラーニングフレームワークを紹介する。
これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、効率的なソース信号推定を可能にする。
性能をさらに向上するために、我々は、スタインの非バイアスリスク推定器(SURE)に基づく代理損失関数を用いた、これらの深層無ロールネットワークのトレーニングを提案する。
- 参考スコア(独自算出の注目度): 13.887632153924512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper revisits two prominent adaptive filtering algorithms, namely
recursive least squares (RLS) and equivariant adaptive source separation
(EASI), through the lens of algorithm unrolling. Building upon the unrolling
methodology, we introduce novel task-based deep learning frameworks, denoted as
Deep RLS and Deep EASI. These architectures transform the iterations of the
original algorithms into layers of a deep neural network, enabling efficient
source signal estimation by leveraging a training process. To further enhance
performance, we propose training these deep unrolled networks utilizing a
surrogate loss function grounded on Stein's unbiased risk estimator (SURE). Our
empirical evaluations demonstrate that the Deep RLS and Deep EASI networks
outperform their underlying algorithms. Moreover, the efficacy of SURE-based
training in comparison to conventional mean squared error loss is highlighted
by numerical experiments. The unleashed potential of SURE-based training in
this paper sets a benchmark for future employment of SURE either for training
purposes or as an evaluation metric for generalization performance of neural
networks.
- Abstract(参考訳): 本稿では,再帰最小二乗法 (RLS) と等変適応ソース分離 (EASI) の2つの顕著な適応フィルタリングアルゴリズムを,アルゴリズムのアンローリングにより再検討する。
アンロール手法に基づいて,Deep RLSとDeep EASIと称される新しいタスクベースディープラーニングフレームワークを導入する。
これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、トレーニングプロセスを活用することで効率的なソース信号推定を可能にする。
そこで本研究では,stein の unbiased risk estimator (sure) に基づくサーロゲート損失関数を用いた,これらの深層未ロールネットワークのトレーニングを提案する。
実験により,Deep RLSとDeep EASIネットワークは,その基盤となるアルゴリズムより優れていることが示された。
また, 従来の平均二乗誤差損失に比べ, SURE に基づくトレーニングの有効性を数値実験により明らかにした。
本稿では, ニューラルネットワークの一般化性能評価指標として, 学習目的あるいは評価指標として, 将来的な確実性向上のための指標を定式化する。
関連論文リスト
- Optimal feature rescaling in machine learning based on neural networks [0.0]
遺伝的アルゴリズム(GA)により入力特徴の最適再スケーリング(OFR)を行う。
OFRは、トレーニングに使用される勾配ベースのアルゴリズムの条件付けを改善する入力空間を再設定する。
この手法は、実産業プロセスの結果をモデル化したFFNNでテストされている。
論文 参考訳(メタデータ) (2024-02-13T21:57:31Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - The Integrated Forward-Forward Algorithm: Integrating Forward-Forward
and Shallow Backpropagation With Local Losses [0.0]
本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。
Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
論文 参考訳(メタデータ) (2023-05-22T12:10:47Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - Cross Learning in Deep Q-Networks [82.20059754270302]
本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。
本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
論文 参考訳(メタデータ) (2020-09-29T04:58:17Z) - Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。
我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
論文 参考訳(メタデータ) (2020-08-27T18:54:43Z) - Weighted Aggregating Stochastic Gradient Descent for Parallel Deep
Learning [8.366415386275557]
解決策には、ニューラルネットワークモデルにおける最適化のための目的関数の修正が含まれる。
本稿では,地方労働者のパフォーマンスに基づく分散型重み付けアグリゲーション方式を提案する。
提案手法を検証するため,提案手法をいくつかの一般的なアルゴリズムと比較した。
論文 参考訳(メタデータ) (2020-04-07T23:38:29Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。