論文の概要: Improved Subsampled Randomized Hadamard Transform for Linear SVM
- arxiv url: http://arxiv.org/abs/2002.01628v1
- Date: Wed, 5 Feb 2020 04:09:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 21:03:22.075659
- Title: Improved Subsampled Randomized Hadamard Transform for Linear SVM
- Title（参考訳）: 線形SVMのためのサブサンプルランダム化アダマール変換の改良
- Authors: Zijian Lei and Liang Lan
- Abstract要約: 我々は,一様サンプリングSRHTの代わりに,効率的な低次元埋め込みを実現するために,重要サンプリングと決定論的トップ・ドルサンプリングを提案する。
実験により,提案手法はSRHTや他の6つの実生活データセット上のランダムな投影法よりも高い分類精度が得られることが示された。
- 参考スコア（独自算出の注目度）: 18.52747917850984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Subsampled Randomized Hadamard Transform (SRHT), a popular random projection
method that can efficiently project a $d$-dimensional data into $r$-dimensional
space ($r \ll d$) in $O(dlog(d))$ time, has been widely used to address the
challenge of high-dimensionality in machine learning. SRHT works by rotating
the input data matrix $\mathbf{X} \in \mathbb{R}^{n \times d}$ by Randomized
Walsh-Hadamard Transform followed with a subsequent uniform column sampling on
the rotated matrix. Despite the advantages of SRHT, one limitation of SRHT is
that it generates the new low-dimensional embedding without considering any
specific properties of a given dataset. Therefore, this data-independent random
projection method may result in inferior and unstable performance when used for
a particular machine learning task, e.g., classification. To overcome this
limitation, we analyze the effect of using SRHT for random projection in the
context of linear SVM classification. Based on our analysis, we propose
importance sampling and deterministic top-$r$ sampling to produce effective
low-dimensional embedding instead of uniform sampling SRHT. In addition, we
also proposed a new supervised non-uniform sampling method. Our experimental
results have demonstrated that our proposed methods can achieve higher
classification accuracies than SRHT and other random projection methods on six
real-life datasets.
- Abstract（参考訳）: srht(subsampled randomized hadamard transform)は、d$-dimensional データを $r$-dimensional space (r \ll d$) または $o(dlog(d))$ time に効率的に投影できる一般的なランダム投影法であり、機械学習における高次元の課題に対処するために広く使われている。
SRHT は入力データ行列 $\mathbf{X} \in \mathbb{R}^{n \times d}$ by Randomized Walsh-Hadamard Transform で回転させ、その後、回転行列上の一様カラムサンプリングを行う。
SRHTの利点にもかかわらず、SRHTの1つの制限は、与えられたデータセットの特定の特性を考慮せずに新しい低次元埋め込みを生成することである。
したがって、このデータ非依存のランダムプロジェクション手法は、特定の機械学習タスク、例えば分類に使用する場合、劣等で不安定な性能をもたらす可能性がある。
この制限を克服するために、線形SVM分類の文脈において、ランダムプロジェクションにSRHTを用いることの効果を分析する。
そこで本研究では,一様サンプリングSRHTではなく,効率的な低次元埋め込みを実現するために,重要サンプリングと決定論的トップ・ドルサンプリングを提案する。
また,新しい教師付き非一様サンプリング法を提案した。
実験により,提案手法は6つの実生活データセット上のSRHTや他のランダムプロジェクション手法よりも高い分類精度が得られることが示された。
関連論文リスト
- Inference in Randomized Least Squares and PCA via Normality of Quadratic Forms [19.616162116973637]
ランダムなスケッチや投影による統計的推測のための統一手法を開発した。
この手法は固定データセット(すなわちデータ条件)に適用され、ランダム性だけがランダム化アルゴリズムによるものである。
論文 参考訳（メタデータ） (2024-04-01T04:35:44Z) - Optimal Projections for Discriminative Dictionary Learning using the JL-lemma [0.5461938536945723]
次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。
本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
論文 参考訳（メタデータ） (2023-08-27T02:59:59Z) - Linearly-scalable learning of smooth low-dimensional patterns with
permutation-aided entropic dimension reduction [0.0]
多くのデータサイエンス応用において、高次元データセットから適切に順序付けられた滑らかな低次元データパターンを抽出することが目的である。
本研究では, ユークリッドの滑らか度をパターン品質基準として選択する場合, これらの問題を数値的に効率的に解けることを示す。
論文 参考訳（メタデータ） (2023-06-17T08:03:24Z) - Sharp-SSL: Selective high-dimensional axis-aligned random projections
for semi-supervised learning [16.673022545571566]
本稿では,高次元半教師付き学習問題に対する新しい手法を提案する。
これは、データの多くの軸方向のランダムな投影に適用される低次元プロシージャの結果の慎重な集約に基づいている。
論文 参考訳（メタデータ） (2023-04-18T17:49:02Z) - Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。
我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
論文 参考訳（メタデータ） (2022-07-16T03:09:30Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳（メタデータ） (2020-04-23T05:00:21Z) - Stable Sparse Subspace Embedding for Dimensionality Reduction [9.033485533901658]
本稿では,統計的に置き換えることなくランダムサンプリングに基づいて,安定なスパース部分空間埋め込み行列を構築した。
S-SSEは既存の行列よりも安定であることが証明され、次元減少後の点間のユークリッド距離を維持することができる。
論文 参考訳（メタデータ） (2020-02-07T15:30:22Z) - Optimal Iterative Sketching with the Subsampled Randomized Hadamard
Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。
本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。
これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文 参考訳（メタデータ） (2020-02-03T16:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。