論文の概要: Optimal Projections for Discriminative Dictionary Learning using the JL-lemma
- arxiv url: http://arxiv.org/abs/2308.13991v3
- Date: Thu, 03 Oct 2024 10:05:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-05 03:34:28.426346
- Title: Optimal Projections for Discriminative Dictionary Learning using the JL-lemma
- Title（参考訳）: JL補題を用いた識別辞書学習のための最適投影法
- Authors: G. Madhuri, Atul Negi, Kaluri V. Rangarao,
- Abstract要約: 次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。
本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
- 参考スコア（独自算出の注目度）: 0.5461938536945723
- License:
- Abstract: Dimensionality reduction-based dictionary learning methods in the literature have often used iterative random projections. The dimensionality of such a random projection matrix is a random number that might not lead to a separable subspace structure in the transformed space. The convergence of such methods highly depends on the initial seed values used. Also, gradient descent-based updates might result in local minima. This paper proposes a constructive approach to derandomize the projection matrix using the Johnson-Lindenstrauss lemma. Rather than reducing dimensionality via random projections, a projection matrix derived from the proposed Modified Supervised PC analysis is used. A heuristic is proposed to decide the data perturbation levels and the dictionary atom's corresponding suitable description length. The projection matrix is derived in a single step, provides maximum feature-label consistency of the transformed space, and preserves the geometry of the original data. The projection matrix thus constructed is proved to be a JL-embedding. Despite confusing classes in the OCR datasets, the dictionary trained in the transformed space generates discriminative sparse coefficients with reduced complexity. Empirical study demonstrates that the proposed method performs well even when the number of classes and dimensionality increase. Experimentation on OCR and face recognition datasets shows better classification performance than other algorithms.
- Abstract（参考訳）: 文献における次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。
そのようなランダムな射影行列の次元性は、変換された空間における分離可能な部分空間構造に結びつかないような乱数である。
このような手法の収束は、使用する初期シード値に大きく依存する。
また、勾配降下に基づく更新は、局所的なミニマムをもたらす可能性がある。
本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
ランダムプロジェクションにより次元を減少させる代わりに、修正スーパービジョンPC解析から導出したプロジェクション行列を用いる。
データ摂動レベルと辞書原子の適切な記述長を決定するためにヒューリスティックを提案する。
投影行列は単一のステップで導出され、変換された空間の最大の特徴-ラベル整合性を提供し、元のデータの幾何を保存する。
このように構成されたプロジェクションマトリックスはJL埋め込みであることが証明された。
OCRデータセットの混乱したクラスにもかかわらず、変換空間で訓練された辞書は、複雑さを減らした差別的なスパース係数を生成する。
実験により, クラス数や次元が増加する場合でも, 提案手法が良好に動作することを示した。
OCRと顔認識データセットの実験は、他のアルゴリズムよりも優れた分類性能を示している。
関連論文リスト
- Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [13.082805815235975]
行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。
提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
論文 参考訳（メタデータ） (2023-07-02T13:59:47Z) - Sharp-SSL: Selective high-dimensional axis-aligned random projections
for semi-supervised learning [16.673022545571566]
本稿では,高次元半教師付き学習問題に対する新しい手法を提案する。
これは、データの多くの軸方向のランダムな投影に適用される低次元プロシージャの結果の慎重な集約に基づいている。
論文 参考訳（メタデータ） (2023-04-18T17:49:02Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Random Matrix Based Extended Target Tracking with Orientation: A New
Model and Inference [0.0]
本稿では,動的物体の範囲を時間方向の楕円体として表現できる新しい対象追跡アルゴリズムを提案する。
対角正半定行列は、ランダム行列フレームワーク内のオブジェクトの範囲をモデル化するために定義される。
共役性がないため、真の後部の閉形式解析式を見つけることは不可能である。
論文 参考訳（メタデータ） (2020-10-17T16:33:06Z) - Tangent Space Based Alternating Projections for Nonnegative Low Rank
Matrix Approximation [22.96292865984433]
非負の低階行列近似法では、特異値分解が必要なため、固定階行列の多様体への射影は高価である。
本稿では,多様体上の点の接空間を用いて多様体への射影を近似し,計算コストを削減することを提案する。
論文 参考訳（メタデータ） (2020-09-02T05:25:16Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Ellipsoidal Subspace Support Vector Data Description [98.67884574313292]
一クラス分類に最適化された低次元空間にデータを変換する新しい手法を提案する。
提案手法の線形および非線形の定式化について述べる。
提案手法は,最近提案されたサブスペースサポートベクトルデータ記述よりもはるかに高速に収束する。
論文 参考訳（メタデータ） (2020-03-20T21:31:03Z) - Improved Subsampled Randomized Hadamard Transform for Linear SVM [18.52747917850984]
我々は,一様サンプリングSRHTの代わりに,効率的な低次元埋め込みを実現するために,重要サンプリングと決定論的トップ・ドルサンプリングを提案する。
実験により,提案手法はSRHTや他の6つの実生活データセット上のランダムな投影法よりも高い分類精度が得られることが示された。
論文 参考訳（メタデータ） (2020-02-05T04:09:23Z) - Optimal Iterative Sketching with the Subsampled Randomized Hadamard
Transform [64.90148466525754]
最小二乗問題に対する反復スケッチの性能について検討する。
本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。
これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
論文 参考訳（メタデータ） (2020-02-03T16:17:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。