Fugu-MT 論文翻訳(概要): Metalearning: Sparse Variable-Structure Automata

論文の概要: Metalearning: Sparse Variable-Structure Automata

arxiv url: http://arxiv.org/abs/2102.00315v1
Date: Sat, 30 Jan 2021 21:32:23 GMT
ステータス: 処理完了
システム内更新日: 2021-02-02 15:41:21.543201
Title: Metalearning: Sparse Variable-Structure Automata
Title（参考訳）: メタラーニング: Sparse Variable-Structure Automata
Authors: Pedram Fekri, Ali Akbar Safavi, Mehrdad Hosseini Zadeh, and Peyman Setoodeh
Abstract要約: 本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dimension of the encoder output (i.e., the code layer) in an autoencoder is a key hyper-parameter for representing the input data in a proper space. This dimension must be carefully selected in order to guarantee the desired reconstruction accuracy. Although overcomplete representation can address this dimension issue, the computational complexity will increase with dimension. Inspired by non-parametric methods, here, we propose a metalearning approach to increase the number of basis vectors used in dynamic sparse coding on the fly. An actor-critic algorithm is deployed to automatically choose an appropriate dimension for feature vectors regarding the required level of accuracy. The proposed method benefits from online dictionary learning and fast iterative shrinkage-thresholding algorithm (FISTA) as the optimizer in the inference phase. It aims at choosing the minimum number of bases for the overcomplete representation regarding the reconstruction error threshold. This method allows for online controlling of both the representation dimension and the reconstruction error in a dynamic framework.
Abstract（参考訳）: オートエンコーダにおけるエンコーダ出力(すなわちコード層)の次元は、入力データを適切な空間で表現するための鍵ハイパーパラメータである。この次元は、所望の再構成精度を保証するために慎重に選択されなければならない。オーバーコンプリート表現はこの次元問題に対処できるが、計算複雑性は次元によって増加する。ここでは,非パラメトリック法に触発され,動的スパース符号化における基礎ベクトル数を増やすためのメタラーニング手法を提案する。アクタークリティカルアルゴリズムが展開され、必要な精度レベルに関する特徴ベクトルの適切な寸法を自動的に選択します。提案手法は,オンライン辞書学習と高速反復縮小抑制アルゴリズム(FISTA)を推論段階の最適化として有効に活用する。リコンストラクションエラーしきい値に関する過剰な表現のベース数を最小にすることを目的としている。この方法は動的フレームワークにおける表現次元と再構成誤差の両方をオンライン制御できる。