論文の概要: Weighed $\ell_1$ on the simplex: Compressive sensing meets locality
- arxiv url: http://arxiv.org/abs/2104.13894v1
- Date: Wed, 28 Apr 2021 17:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 12:37:00.046843
- Title: Weighed $\ell_1$ on the simplex: Compressive sensing meets locality
- Title(参考訳): Weighed $\ell_1$ on the simplex: Compressive Sensor meets locality
- Authors: Abiy Tasissa, Pranay Tankala and Demba Ba
- Abstract要約: スパースマニホールド学習アルゴリズムは、マニホールド学習とスパース最適化のテクニックを組み合わせて、下流のタスクに使用できる機能を学びます。
データ固有の幾何学構造のため、辞書原子は冗長であり、制限された等尺性やコヒーレンス条件を満たすことができない。
本稿では,辞書とスパース係数を学習する最適化プログラムについて論じ,合成および実データに対する正規化の有用性を実証する。
- 参考スコア(独自算出の注目度): 3.3903882959959435
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sparse manifold learning algorithms combine techniques in manifold learning
and sparse optimization to learn features that could be utilized for downstream
tasks. The standard setting of compressive sensing can not be immediately
applied to this setup. Due to the intrinsic geometric structure of data,
dictionary atoms might be redundant and do not satisfy the restricted isometry
property or coherence condition. In addition, manifold learning emphasizes
learning local geometry which is not reflected in a standard $\ell_1$
minimization problem. We propose weighted $\ell_0$ and weighted $\ell_1$
metrics that encourage representation via neighborhood atoms suited for
dictionary based manifold learning. Assuming that the data is generated from
Delaunay triangulation, we show the equivalence of weighted $\ell_1$ and
weighted $\ell_0$. We discuss an optimization program that learns the
dictionaries and sparse coefficients and demonstrate the utility of our
regularization on synthetic and real datasets.
- Abstract(参考訳): スパース多様体学習アルゴリズムは、多様体学習のテクニックとスパース最適化を組み合わせて、下流タスクに使用できる機能を学ぶ。
圧縮センシングの標準設定はこの設定に直ちに適用することはできない。
データ固有の幾何学構造のため、辞書原子は冗長であり、制限された等尺性やコヒーレンス条件を満たすことができない。
さらに、多様体学習は標準的な$\ell_1$最小化問題に反映されない局所幾何学の学習を強調する。
我々は,辞書ベースの多様体学習に適した近傍原子による表現を促進する,重み付き$\ell_0$と重み付き$\ell_1$メトリックを提案する。
データはdelaunay三角測量から生成されると仮定すると、重み付き$\ell_1$と重み付き$\ell_0$の等価性を示す。
本稿では,辞書とスパース係数を学習する最適化プログラムについて論じ,合成および実データに対する正規化の有用性を実証する。
関連論文リスト
- Compressive Recovery of Sparse Precision Matrices [5.557600489035657]
我々は,$d$変数の統計的関係を,mathbbRn times d$の$n$サンプル$Xのデータセットからモデル化するグラフの学習問題を考察する。
サイズ $m=Omegaleft((d+2k)log(d)right)$ ここで、$k$は基礎となるグラフのエッジの最大数である。
本稿では, グラフィカルラッソに基づく反復アルゴリズムを用いて, 具体的デノイザとみなす実用的リカバリを実現する可能性について検討する。
論文 参考訳(メタデータ) (2023-11-08T13:29:08Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳(メタデータ) (2023-07-24T14:37:22Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳(メタデータ) (2023-06-26T17:13:31Z) - IAN: Iterated Adaptive Neighborhoods for manifold learning and
dimensionality estimation [0.0]
類似性カーネルが与えるデータに対して適応的近傍を推定するアルゴリズムを提案する。
k-アネレスト隣人などの標準的なアルゴリズムとの比較は、その有用性を示している。
論文 参考訳(メタデータ) (2022-08-19T02:15:08Z) - Hyperbolic Vision Transformers: Combining Improvements in Metric
Learning [116.13290702262248]
計量学習のための新しい双曲型モデルを提案する。
本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。
4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
論文 参考訳(メタデータ) (2022-03-21T09:48:23Z) - FriendlyCore: Practical Differentially Private Aggregation [67.04951703461657]
我々は、制約のない(擬似)計量空間から点の集合を$cal D$として取り出す、単純で実用的なツールである$mathsfFriendlyCore$を提案する。
$cal D$ が有効直径 $r$ を持つとき、$mathsfFriendlyCore$ はすべての点を含む "stable" サブセット $cal D_Gsubseteq cal D$ を返す。
$mathsfFriendlyCore$は、プライベートに集約する前に入力を前処理するために使用することができる。
論文 参考訳(メタデータ) (2021-10-19T17:43:50Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳(メタデータ) (2020-12-14T18:14:08Z) - A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。
勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-06T05:01:38Z) - Faster Binary Embeddings for Preserving Euclidean Distances [9.340611077939828]
本稿では, 高速で, 距離保存可能なバイナリ埋め込みアルゴリズムを提案し, データセット $mathcalTsubseteqmathbbRn$ を立方体 $pm 1m$ のバイナリシーケンスに変換する。
我々の手法は高速かつメモリ効率が良く、時間複雑性は$O(m)$、空間複雑性は$O(m)$である。
論文 参考訳(メタデータ) (2020-10-01T22:41:41Z) - Towards improving discriminative reconstruction via simultaneous dense
and sparse coding [9.87575928269854]
スパース符号化モデルから抽出した識別的特徴は、分類と再構成において良好に機能することが示されている。
本稿では,表現能力と識別機能の両方を統合した,疎密かつ疎結合な符号化モデルを提案する。
論文 参考訳(メタデータ) (2020-06-16T21:53:20Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳(メタデータ) (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。