論文の概要: Metalearning: Sparse Variable-Structure Automata

• arxiv url: http://arxiv.org/abs/2102.00315v1
• Date: Sat, 30 Jan 2021 21:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:41:21.543201
• Title: Metalearning: Sparse Variable-Structure Automata
• Title（参考訳）: メタラーニング: Sparse Variable-Structure Automata
• Authors: Pedram Fekri, Ali Akbar Safavi, Mehrdad Hosseini Zadeh, and Peyman Setoodeh
• Abstract要約: 本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dimension of the encoder output (i.e., the code layer) in an autoencoder is a key hyper-parameter for representing the input data in a proper space. This dimension must be carefully selected in order to guarantee the desired reconstruction accuracy. Although overcomplete representation can address this dimension issue, the computational complexity will increase with dimension. Inspired by non-parametric methods, here, we propose a metalearning approach to increase the number of basis vectors used in dynamic sparse coding on the fly. An actor-critic algorithm is deployed to automatically choose an appropriate dimension for feature vectors regarding the required level of accuracy. The proposed method benefits from online dictionary learning and fast iterative shrinkage-thresholding algorithm (FISTA) as the optimizer in the inference phase. It aims at choosing the minimum number of bases for the overcomplete representation regarding the reconstruction error threshold. This method allows for online controlling of both the representation dimension and the reconstruction error in a dynamic framework.
• Abstract（参考訳）: オートエンコーダにおけるエンコーダ出力(すなわちコード層)の次元は、入力データを適切な空間で表現するための鍵ハイパーパラメータである。 この次元は、所望の再構成精度を保証するために慎重に選択されなければならない。 オーバーコンプリート表現はこの次元問題に対処できるが、計算複雑性は次元によって増加する。 ここでは,非パラメトリック法に触発され,動的スパース符号化における基礎ベクトル数を増やすためのメタラーニング手法を提案する。 アクタークリティカルアルゴリズムが展開され、必要な精度レベルに関する特徴ベクトルの適切な寸法を自動的に選択します。 提案手法は,オンライン辞書学習と高速反復縮小抑制アルゴリズム(FISTA)を推論段階の最適化として有効に活用する。 リコンストラクションエラーしきい値に関する過剰な表現のベース数を最小にすることを目的としている。 この方法は動的フレームワークにおける表現次元と再構成誤差の両方をオンライン制御できる。

関連論文リスト

• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Optimal Projections for Discriminative Dictionary Learning using the JL-lemma [0.5461938536945723]
  次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。 本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-27T02:59:59Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Deep Identification of Nonlinear Systems in Koopman Form [0.0]
  本論文では,クープマンに基づく深部状態空間エンコーダを用いた非線形力学系の同定について述べる。 揚力モデル構造には入力-アフィンの定式化が考慮され, 完全状態と部分状態の両方に対処する。
  論文  参考訳（メタデータ） (2021-10-06T08:50:56Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders [0.0]
  我々は,複雑なデータ構造に対するパスラッソペナルテッドオートエンコーダを提案する。 アルゴリズムは,群ラスソペナルティと非負行列分解を用いて,スパースで非線形な潜在表現を構築する。 このアルゴリズムは,低次元表現のためのスパースPCAやパラメータワイドラッソ正規化オートエンコーダよりもはるかに低い再構成誤差を示す。
  論文  参考訳（メタデータ） (2021-02-22T10:14:46Z)
• Kaleidoscope: An Efficient, Learnable Representation For All Structured Linear Maps [20.151950843660973]
  我々は,準最適空間を持つ任意の構造行列を表現可能なk行列(kaleidoscope matrices)を導入する。 K-行列は手作りの手順を置き換えるためにエンドツーエンドのパイプライン内で自動的に学習することができる。 我々はTransformerネットワークでK-matricesを使用して、言語翻訳タスクにおいて、エンドツーエンドの推論速度を36%高速化する。
  論文  参考訳（メタデータ） (2020-12-29T22:51:29Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。