論文の概要: A Lightweight Randomized Nonlinear Dictionary Learning Method using Random Vector Functional Link
- arxiv url: http://arxiv.org/abs/2402.03833v2
- Date: Wed, 24 Apr 2024 02:39:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 16:15:09.017217
- Title: A Lightweight Randomized Nonlinear Dictionary Learning Method using Random Vector Functional Link
- Title（参考訳）: ランダムベクトル関数リンクを用いた軽量ランダム化非線形辞書学習法
- Authors: G. Madhuri, Atul Negi,
- Abstract要約: 本稿では,ランダムベクトル関数リンク(RVFL)と呼ばれるランダム化関数リンクを用いて,非線形辞書を学習するためのSVDフリー軽量アプローチを提案する。
提案したRVFLに基づく非線形辞書学習(RVFLDL)は,非線形スパース係数から高密度入力特徴へのスパース・トゥ・デンス特徴写像として辞書を学習する。
画像分類および再構成アプリケーションで示される手法の実証的証拠は、RVFLDLはスケーラブルであり、他の非線形辞書学習法よりも優れた解を提供することを示している。
- 参考スコア（独自算出の注目度）: 0.6138671548064356
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Kernel-based nonlinear dictionary learning methods operate in a feature space obtained by an implicit feature map, and they are not independent of computationally expensive operations like Singular Value Decomposition (SVD). This paper presents an SVD-free lightweight approach to learning a nonlinear dictionary using a randomized functional link called a Random Vector Functional Link (RVFL). The proposed RVFL-based nonlinear Dictionary Learning (RVFLDL) learns a dictionary as a sparse-to-dense feature map from nonlinear sparse coefficients to the dense input features. Sparse coefficients w.r.t an initial random dictionary are derived by assuming Horseshoe prior are used as inputs making it a lightweight network. Training the RVFL-based dictionary is free from SVD computation as RVFL generates weights from the input to the output layer analytically. Higher-order dependencies between the input sparse coefficients and the dictionary atoms are incorporated into the training process by nonlinearly transforming the sparse coefficients and adding them as enhanced features. Thus the method projects sparse coefficients to a higher dimensional space while inducing nonlinearities into the dictionary. For classification using RVFL-net, a classifier matrix is learned as a transform that maps nonlinear sparse coefficients to the labels. The empirical evidence of the method illustrated in image classification and reconstruction applications shows that RVFLDL is scalable and provides a solution better than those obtained using other nonlinear dictionary learning methods.
- Abstract（参考訳）: カーネルベースの非線形辞書学習法は、暗黙的特徴写像によって得られる特徴空間で動作し、特異値分解(SVD)のような計算コストの高い演算とは独立していない。
本稿では,ランダムベクトル関数リンク(RVFL)と呼ばれるランダム化関数リンクを用いて,非線形辞書を学習するためのSVDフリー軽量アプローチを提案する。
提案したRVFLに基づく非線形辞書学習(RVFLDL)は,非線形スパース係数から高密度入力特徴へのスパース・トゥ・デンス特徴写像として辞書を学習する。
初期乱数辞書のスパース係数 w.r.t は、ホースシュー先行を仮定して導出され、軽量ネットワークとなる入力として使用される。
RVFLは入力から出力層への重みを解析的に生成するので、RVFLベースの辞書のトレーニングはSVD計算から解放される。
入力スパース係数と辞書原子との高次依存関係は、スパース係数を非線形に変換し、強化された特徴として付加することにより、トレーニングプロセスに組み込む。
したがって、この方法は、辞書に非線形性を誘導しながら、より高次元空間にスパース係数を投影する。
RVFL-netを用いて分類するために、分類行列は非線形スパース係数をラベルにマッピングする変換として学習される。
画像分類および再構成アプリケーションで示される手法の実証的証拠は、RVFLDLはスケーラブルであり、他の非線形辞書学習法よりも優れた解を提供することを示している。
関連論文リスト
- Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Learning Invariant Subspaces of Koopman Operators--Part 2: Heterogeneous
Dictionary Mixing to Approximate Subspace Invariance [0.0]
この研究は、データからクープマン作用素の近似辞書表現を学ぶために、パート1で提示されたモデルと概念に基づいている。
ヘテロジニアス辞書関数の構造化混合はディープラーニングに基づくディープDMDアルゴリズムと同じ精度と次元のスケーリングを実現する。
論文 参考訳（メタデータ） (2022-12-14T17:40:00Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳（メタデータ） (2022-02-25T16:35:26Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳（メタデータ） (2021-11-17T10:45:10Z) - Confusion-based rank similarity filters for computationally-efficient
machine learning on high dimensional data [0.0]
我々は、ランク類似度フィルタ(RSF)と呼ばれる、計算効率の良い新しいタイプの人工知能ニューラルネットワーク(ANN)を導入する。
RSFは、多くのデータポイントと次元を持つ非線形分離可能なデータセットを変換し、分類するために使用することができる。
RST、RCC、RSPCのオープンソースコードは、人気のあるScikit-learnフレームワークを使用してPythonで書かれており、簡単にアクセスできる。
論文 参考訳（メタデータ） (2021-09-28T10:53:38Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳（メタデータ） (2021-05-31T18:49:58Z) - SparseGAN: Sparse Generative Adversarial Network for Text Generation [8.634962333084724]
本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。
このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
論文 参考訳（メタデータ） (2021-03-22T04:44:43Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。