論文の概要: Neurally Augmented ALISTA
- arxiv url: http://arxiv.org/abs/2010.01930v1
- Date: Mon, 5 Oct 2020 11:39:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 21:23:53.417808
- Title: Neurally Augmented ALISTA
- Title(参考訳): 神経拡張型ALISTA
- Authors: Freya Behrens, Jonathan Sauder and Peter Jung
- Abstract要約: 本稿では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。
提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。
- 参考スコア(独自算出の注目度): 15.021419552695066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well-established that many iterative sparse reconstruction algorithms
can be unrolled to yield a learnable neural network for improved empirical
performance. A prime example is learned ISTA (LISTA) where weights, step sizes
and thresholds are learned from training data. Recently, Analytic LISTA
(ALISTA) has been introduced, combining the strong empirical performance of a
fully learned approach like LISTA, while retaining theoretical guarantees of
classical compressed sensing algorithms and significantly reducing the number
of parameters to learn. However, these parameters are trained to work in
expectation, often leading to suboptimal reconstruction of individual targets.
In this work we therefore introduce Neurally Augmented ALISTA, in which an LSTM
network is used to compute step sizes and thresholds individually for each
target vector during reconstruction. This adaptive approach is theoretically
motivated by revisiting the recovery guarantees of ALISTA. We show that our
approach further improves empirical performance in sparse reconstruction, in
particular outperforming existing algorithms by an increasing margin as the
compression ratio becomes more challenging.
- Abstract(参考訳): 経験的性能を改善するために学習可能なニューラルネットワークを生成するために、多くの反復的スパース再構成アルゴリズムを展開できることはよく知られている。
主な例としては、トレーニングデータからウェイト、ステップサイズ、しきい値を学ぶISTA(LISTA)がある。
近年、LISTA(Analytic LISTA)が導入され、LISTAのような完全学習アプローチの強力な経験的性能が組み合わされ、古典的な圧縮センシングアルゴリズムの理論的保証を維持し、学習するパラメータの数を著しく減らした。
しかしながら、これらのパラメータは期待通りに動作するよう訓練されており、しばしば個々のターゲットを最適に再構築する。
そこで本研究では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。
この適応アプローチは alista の回復保証を再検討することで理論的に動機づけられている。
提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。
関連論文リスト
- Learning to Optimize for Reinforcement Learning [79.03249959636776]
ゼロから強化学習を行うエージェントを学習することは可能であることを示す。
おもちゃのタスクでしか訓練されないが、我々の学習はブラックスの複雑なタスクに一般化することができる。
論文 参考訳(メタデータ) (2023-02-03T00:11:02Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳(メタデータ) (2022-10-10T19:50:37Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - An intelligent algorithmic trading based on a risk-return reinforcement
learning algorithm [0.0]
本稿では,改良された深部強化学習アルゴリズムを用いたポートフォリオ最適化モデルを提案する。
提案アルゴリズムはアクター・クリティカル・アーキテクチャに基づいており、クリティカル・ネットワークの主な課題はポートフォリオ累積リターンの分布を学習することである。
Ape-xと呼ばれるマルチプロセスを用いて、深層強化学習訓練の高速化を図る。
論文 参考訳(メタデータ) (2022-08-23T03:20:06Z) - Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form
Deep Neural Networks [50.193061099112626]
学習可能なパラメータを持つディープニューラルネットワーク(DNN)として反復アルゴリズムを展開させることで、線形逆問題を解決することを約束している。
既存のISTAベースのアンフォールドアルゴリズムは、収束を保証するために部分重結合構造で繰り返し更新するネットワークアーキテクチャを制限する。
本論文は,ISTAに基づく非折り畳みアルゴリズムにおける自由形式DNNを実現するための収束証明可能なフレームワークを初めて提供するものである。
論文 参考訳(メタデータ) (2022-04-25T13:17:57Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Towards Understanding Label Smoothing [36.54164997035046]
ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。
適切なLSRが分散を減少させることで収束を加速することを示す。
本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
論文 参考訳(メタデータ) (2020-06-20T20:36:17Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Unbiased Deep Reinforcement Learning: A General Training Framework for
Existing and Future Algorithms [3.7050607140679026]
本稿では、概念的に理解可能で、強化学習のための全ての実行可能なアルゴリズムに一般化し易い、新しいトレーニングフレームワークを提案する。
我々はモンテカルロサンプリングを用いて生のデータ入力を実現し、マルコフ決定プロセスシーケンスを達成するためにバッチでそれらを訓練する。
我々は、典型的な離散的かつ連続的なシナリオを扱うために、新しいフレームワークに埋め込まれたアルゴリズムをいくつか提案する。
論文 参考訳(メタデータ) (2020-05-12T01:51:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。