論文の概要: K-Deep Simplex: Deep Manifold Learning via Local Dictionaries
- arxiv url: http://arxiv.org/abs/2012.02134v2
- Date: Thu, 25 Feb 2021 04:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 19:51:24.809481
- Title: K-Deep Simplex: Deep Manifold Learning via Local Dictionaries
- Title(参考訳): K-Deep Simplex: ローカル辞書による深層マニフォールド学習
- Authors: Pranay Tankala, Abiy Tasissa, James M. Murphy, Demba Ba
- Abstract要約: K-Deep Simplexは非線形次元減少のための統一的な最適化フレームワークである。
提案手法は,データ点を表す局所辞書を,確率単純度で支持される再構成係数を用いて学習する。
実験により,アルゴリズムは効率が高く,合成データセットや実データに対して競争力があることが示された。
- 参考スコア(独自算出の注目度): 10.261890123213623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose K-Deep Simplex (KDS), a unified optimization framework for
nonlinear dimensionality reduction that combines the strengths of manifold
learning and sparse dictionary learning. Our approach learns local dictionaries
that represent a data point with reconstruction coefficients supported on the
probability simplex. The dictionaries are learned using algorithm unrolling, an
increasingly popular technique for structured deep learning. KDS enjoys
tremendous computational advantages over related approaches and is both
interpretable and flexible. In particular, KDS is quasilinear in the number of
data points with scaling that depends on intrinsic geometric properties of the
data. We apply KDS to the unsupervised clustering problem and prove theoretical
performance guarantees. Experiments show that the algorithm is highly efficient
and performs competitively on synthetic and real data sets.
- Abstract(参考訳): K-Deep Simplex (KDS) は、多様体学習とスパース辞書学習の強みを組み合わせた非線形次元減少のための統一的な最適化フレームワークである。
本手法は,データポイントを表すローカル辞書を,確率シンプレックスを用いた再構成係数で学習する。
辞書は、構造化深層学習の一般的なテクニックであるアンロールアルゴリズムを用いて学習される。
KDSは関連するアプローチよりも膨大な計算上の優位性を持ち、解釈可能かつ柔軟である。
特に、KDSは、データの内在的な幾何学的性質に依存するスケーリングを伴うデータポイントの数で準線形である。
KDSを教師なしクラスタリング問題に適用し、理論的性能保証を証明する。
実験により,アルゴリズムは効率が高く,合成データセットや実データに対して競争力があることが示された。
関連論文リスト
- Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳(メタデータ) (2023-05-12T03:01:41Z) - Decentralized Complete Dictionary Learning via $\ell^{4}$-Norm
Maximization [1.2995632804090198]
本稿では,$ell4$-normに基づく分散完全辞書学習アルゴリズムを提案する。
既存の分散辞書学習アルゴリズムと比較して、新しいアルゴリズムは多くのシナリオにおいて、解法毎の計算複雑性、通信コスト、収束率の点で大きな利点がある。
論文 参考訳(メタデータ) (2022-11-07T15:36:08Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - DeepDPM: Deep Clustering With an Unknown Number of Clusters [6.0803541683577444]
学習中にKの値を知る必要のない効果的な深層クラスタリング手法を提案する。
分割/マージフレームワーク, 変化Kに適応する動的アーキテクチャ, 新たな損失を用いて, 提案手法は既存の非パラメトリック手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-27T14:11:06Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳(メタデータ) (2021-11-17T10:45:10Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - A Sparse Structure Learning Algorithm for Bayesian Network
Identification from Discrete High-Dimensional Data [0.40611352512781856]
本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。
本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。
具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
論文 参考訳(メタデータ) (2021-08-21T12:21:01Z) - Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。
理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。
我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文 参考訳(メタデータ) (2021-08-11T20:21:30Z) - FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal
Retrieval [41.125141897096874]
クロスモーダルハッシュはその有効性と効率性に好まれる。
既存のほとんどのメソッドは、ハッシュコードを学ぶ際に意味情報の識別力を十分に利用していない。
大規模クロスモーダル検索のためのFDDH(Fast Discriminative Discrete Hashing)手法を提案する。
論文 参考訳(メタデータ) (2021-05-15T03:53:48Z) - CIMON: Towards High-quality Hash Codes [63.37321228830102]
我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。
まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
論文 参考訳(メタデータ) (2020-10-15T14:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。