論文の概要: An SVD-free Approach to Nonlinear Dictionary Learning based on RVFL
- arxiv url: http://arxiv.org/abs/2402.03833v1
- Date: Tue, 6 Feb 2024 09:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:44:25.124957
- Title: An SVD-free Approach to Nonlinear Dictionary Learning based on RVFL
- Title（参考訳）: RVFLに基づく非線形辞書学習へのSVDフリーアプローチ
- Authors: G.Madhuri, Atul Negi
- Abstract要約: 提案したRVFLに基づく非線形辞書学習は,スパース・トゥ・デンス特徴写像として辞書を学習する。
画像分類と再構成の応用で示される手法の性能は他の非線形辞書学習法と同等である。
- 参考スコア（独自算出の注目度）: 0.7252027234425334
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents a novel nonlinear dictionary learning algorithm
leveraging the theory of a feed-forward neural network called Random Vector
Functional Link (RVFL). The proposed RVFL-based nonlinear Dictionary Learning
(RVFLDL) learns a dictionary as a sparse-to-dense feature map from nonlinear
sparse coefficients to the dense input features. Kernel-based nonlinear
dictionary learning methods operate in a feature space obtained by an implicit
feature map, and they are not independent of computationally expensive
operations like Singular Value Decomposition (SVD). Training the RVFL-based
dictionary is free from SVD computation as RVFL generates weights from the
input to the output layer analytically. Sparsity-inducing Horse-shoe prior is
assumed on the coefficients to generate a sparse coefficient matrix w.r.t an
initial random dictionary. Higher-order dependencies between the input sparse
coefficients and the dictionary atoms are incorporated into the training
process by nonlinearly transforming the sparse coefficients and adding them as
enhanced features. Thus the method projects sparse coefficients to a higher
dimensional space while inducing nonlinearities into the dictionary. For
classification using RVFL-net, a classifier matrix is learned as a transform
that maps nonlinear sparse coefficients to the labels. The performance of the
method illustrated in image classification and reconstruction applications is
comparable to that of other nonlinear dictionary learning methods. Experiments
show that RVFLDL is scalable and provides a solution better than those obtained
using other nonlinear dictionary learning methods.
- Abstract（参考訳）: 本稿では,Random Vector Functional Link(RVFL)と呼ばれるフィードフォワードニューラルネットワークの理論を活用する非線形辞書学習アルゴリズムを提案する。
提案したRVFLに基づく非線形辞書学習(RVFLDL)は,非線形スパース係数から高密度入力特徴へのスパース・トゥ・デンス特徴写像として辞書を学習する。
カーネルに基づく非線形辞書学習手法は暗黙的特徴マップによって得られる特徴空間で動作し、特異値分解(svd)のような計算コストの高い演算とは独立ではない。
RVFLは入力から出力層への重みを解析的に生成するので、RVFLベースの辞書のトレーニングはSVD計算から解放される。
係数にスパース性誘導馬車前置を仮定し、スパース係数行列w.r.tを初期ランダム辞書を生成する。
入力スパース係数と辞書原子との高次依存関係は、スパース係数を非線形に変換し、強化された特徴として付加することによりトレーニングプロセスに組み込む。
したがって、この方法は、辞書に非線形性を誘導しながら、スパース係数を高次元空間に投影する。
RVFL-netを用いて分類するために、分類行列は非線形スパース係数をラベルにマッピングする変換として学習される。
画像分類と再構成の応用における手法の性能は他の非線形辞書学習法と同等である。
実験により、RVFLDLは拡張性があり、他の非線形辞書学習法よりも優れた解を提供することが示された。
関連論文リスト
- Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Learning Invariant Subspaces of Koopman Operators--Part 2: Heterogeneous
Dictionary Mixing to Approximate Subspace Invariance [0.0]
この研究は、データからクープマン作用素の近似辞書表現を学ぶために、パート1で提示されたモデルと概念に基づいている。
ヘテロジニアス辞書関数の構造化混合はディープラーニングに基づくディープDMDアルゴリズムと同じ精度と次元のスケーリングを実現する。
論文 参考訳（メタデータ） (2022-12-14T17:40:00Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳（メタデータ） (2021-11-17T10:45:10Z) - Confusion-based rank similarity filters for computationally-efficient
machine learning on high dimensional data [0.0]
我々は、ランク類似度フィルタ(RSF)と呼ばれる、計算効率の良い新しいタイプの人工知能ニューラルネットワーク(ANN)を導入する。
RSFは、多くのデータポイントと次元を持つ非線形分離可能なデータセットを変換し、分類するために使用することができる。
RST、RCC、RSPCのオープンソースコードは、人気のあるScikit-learnフレームワークを使用してPythonで書かれており、簡単にアクセスできる。
論文 参考訳（メタデータ） (2021-09-28T10:53:38Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳（メタデータ） (2021-05-31T18:49:58Z) - SparseGAN: Sparse Generative Adversarial Network for Text Generation [8.634962333084724]
本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。
このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
論文 参考訳（メタデータ） (2021-03-22T04:44:43Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。