論文の概要: K-Deep Simplex: Deep Manifold Learning via Local Dictionaries
- arxiv url: http://arxiv.org/abs/2012.02134v4
- Date: Tue, 30 Jul 2024 23:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 13:43:16.329788
- Title: K-Deep Simplex: Deep Manifold Learning via Local Dictionaries
- Title(参考訳): K-Deep Simplex: ローカル辞書による深層マニフォールド学習
- Authors: Pranay Tankala, Abiy Tasissa, James M. Murphy, Demba Ba,
- Abstract要約: そこで我々は,K-Deep Simplexを提案する。K-Deep Simplexは,合成ランドマークからなる辞書と,単純度に支持された表現係数を学習する。
本稿では,最小化の交互化による最適化プログラムを解くとともに,アルゴリズムアンローリングを用いた効率よく解釈可能なオートエンコーダを設計する。
実験により,アルゴリズムは効率が高く,合成データセットや実データに対して競争力があることが示された。
- 参考スコア(独自算出の注目度): 8.137198664755598
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose K-Deep Simplex(KDS) which, given a set of data points, learns a dictionary comprising synthetic landmarks, along with representation coefficients supported on a simplex. KDS employs a local weighted $\ell_1$ penalty that encourages each data point to represent itself as a convex combination of nearby landmarks. We solve the proposed optimization program using alternating minimization and design an efficient, interpretable autoencoder using algorithm unrolling. We theoretically analyze the proposed program by relating the weighted $\ell_1$ penalty in KDS to a weighted $\ell_0$ program. Assuming that the data are generated from a Delaunay triangulation, we prove the equivalence of the weighted $\ell_1$ and weighted $\ell_0$ programs. We further show the stability of the representation coefficients under mild geometrical assumptions. If the representation coefficients are fixed, we prove that the sub-problem of minimizing over the dictionary yields a unique solution. Further, we show that low-dimensional representations can be efficiently obtained from the covariance of the coefficient matrix. Experiments show that the algorithm is highly efficient and performs competitively on synthetic and real data sets.
- Abstract(参考訳): そこで我々は,K-Deep Simplex(KDS)を提案する。このK-Deep Simplex(KDS)は,合成ランドマークからなる辞書を,単純度に支持された表現係数とともに学習する。
KDSは局所重み付き$\ell_1$ペナルティを採用しており、各データポイントが近傍のランドマークの凸結合として自身を表現することを奨励している。
本稿では,最小化の交互化による最適化プログラムを解くとともに,アルゴリズムアンローリングを用いた効率よく解釈可能なオートエンコーダを設計する。
KDSの重み付き$\ell_1$ペナルティを重み付き$\ell_0$プログラムに関連付けて提案プログラムを理論的に解析する。
データがデラウネー三角測量から生成されると仮定すると、重み付き$\ell_1$と重み付き$\ell_0$プログラムの等価性を証明する。
さらに、軽微な幾何学的仮定の下での表現係数の安定性を示す。
表現係数が固定された場合、辞書上で最小化する部分確率が一意解となることを証明する。
さらに,係数行列の共分散から低次元表現を効率よく得ることを示す。
実験により,アルゴリズムは効率が高く,合成データセットや実データに対して競争力があることが示された。
関連論文リスト
- Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳(メタデータ) (2023-05-12T03:01:41Z) - Decentralized Complete Dictionary Learning via $\ell^{4}$-Norm
Maximization [1.2995632804090198]
本稿では,$ell4$-normに基づく分散完全辞書学習アルゴリズムを提案する。
既存の分散辞書学習アルゴリズムと比較して、新しいアルゴリズムは多くのシナリオにおいて、解法毎の計算複雑性、通信コスト、収束率の点で大きな利点がある。
論文 参考訳(メタデータ) (2022-11-07T15:36:08Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - DeepDPM: Deep Clustering With an Unknown Number of Clusters [6.0803541683577444]
学習中にKの値を知る必要のない効果的な深層クラスタリング手法を提案する。
分割/マージフレームワーク, 変化Kに適応する動的アーキテクチャ, 新たな損失を用いて, 提案手法は既存の非パラメトリック手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-27T14:11:06Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳(メタデータ) (2021-11-17T10:45:10Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - A Sparse Structure Learning Algorithm for Bayesian Network
Identification from Discrete High-Dimensional Data [0.40611352512781856]
本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。
本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。
具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
論文 参考訳(メタデータ) (2021-08-21T12:21:01Z) - Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。
理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。
我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文 参考訳(メタデータ) (2021-08-11T20:21:30Z) - FDDH: Fast Discriminative Discrete Hashing for Large-Scale Cross-Modal
Retrieval [41.125141897096874]
クロスモーダルハッシュはその有効性と効率性に好まれる。
既存のほとんどのメソッドは、ハッシュコードを学ぶ際に意味情報の識別力を十分に利用していない。
大規模クロスモーダル検索のためのFDDH(Fast Discriminative Discrete Hashing)手法を提案する。
論文 参考訳(メタデータ) (2021-05-15T03:53:48Z) - CIMON: Towards High-quality Hash Codes [63.37321228830102]
我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。
まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
論文 参考訳(メタデータ) (2020-10-15T14:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。