Fugu-MT 論文翻訳(概要): Neurally Augmented ALISTA

論文の概要: Neurally Augmented ALISTA

arxiv url: http://arxiv.org/abs/2010.01930v1
Date: Mon, 5 Oct 2020 11:39:49 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 21:23:53.417808
Title: Neurally Augmented ALISTA
Title（参考訳）: 神経拡張型ALISTA
Authors: Freya Behrens, Jonathan Sauder and Peter Jung
Abstract要約: 本稿では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。
参考スコア（独自算出の注目度）: 15.021419552695066
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is well-established that many iterative sparse reconstruction algorithms can be unrolled to yield a learnable neural network for improved empirical performance. A prime example is learned ISTA (LISTA) where weights, step sizes and thresholds are learned from training data. Recently, Analytic LISTA (ALISTA) has been introduced, combining the strong empirical performance of a fully learned approach like LISTA, while retaining theoretical guarantees of classical compressed sensing algorithms and significantly reducing the number of parameters to learn. However, these parameters are trained to work in expectation, often leading to suboptimal reconstruction of individual targets. In this work we therefore introduce Neurally Augmented ALISTA, in which an LSTM network is used to compute step sizes and thresholds individually for each target vector during reconstruction. This adaptive approach is theoretically motivated by revisiting the recovery guarantees of ALISTA. We show that our approach further improves empirical performance in sparse reconstruction, in particular outperforming existing algorithms by an increasing margin as the compression ratio becomes more challenging.
Abstract（参考訳）: 経験的性能を改善するために学習可能なニューラルネットワークを生成するために、多くの反復的スパース再構成アルゴリズムを展開できることはよく知られている。主な例としては、トレーニングデータからウェイト、ステップサイズ、しきい値を学ぶISTA(LISTA)がある。近年、LISTA(Analytic LISTA)が導入され、LISTAのような完全学習アプローチの強力な経験的性能が組み合わされ、古典的な圧縮センシングアルゴリズムの理論的保証を維持し、学習するパラメータの数を著しく減らした。しかしながら、これらのパラメータは期待通りに動作するよう訓練されており、しばしば個々のターゲットを最適に再構築する。そこで本研究では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。この適応アプローチは alista の回復保証を再検討することで理論的に動機づけられている。提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。

関連論文リスト

The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information [35.34142909458158]
IHTのような古典的反復的スパースリカバリアルゴリズムのプロジェクションステップにおいて、OBSのような方法で曲率情報を活用することができることを示す。本稿では,この手法の拡張を,正確なスペーサーを得るための実践的なタスクに適用し,視覚および言語タスクのトランスフォーマーモデルに対して,それを大規模に検証する。
論文参考訳（メタデータ） (2024-08-30T10:06:26Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文参考訳（メタデータ） (2024-06-04T20:37:17Z)
REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文参考訳（メタデータ） (2024-04-25T17:20:45Z)
Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文参考訳（メタデータ） (2022-10-10T19:50:37Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks [50.193061099112626]
学習可能なパラメータを持つディープニューラルネットワーク(DNN)として反復アルゴリズムを展開させることで、線形逆問題を解決することを約束している。既存のISTAベースのアンフォールドアルゴリズムは、収束を保証するために部分重結合構造で繰り返し更新するネットワークアーキテクチャを制限する。本論文は,ISTAに基づく非折り畳みアルゴリズムにおける自由形式DNNを実現するための収束証明可能なフレームワークを初めて提供するものである。
論文参考訳（メタデータ） (2022-04-25T13:17:57Z)
Towards Understanding Label Smoothing [36.54164997035046]
ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。適切なLSRが分散を減少させることで収束を加速することを示す。本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
論文参考訳（メタデータ） (2020-06-20T20:36:17Z)
Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文参考訳（メタデータ） (2020-06-18T19:04:09Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。