論文の概要: Tensor Random Projection for Low Memory Dimension Reduction

• arxiv url: http://arxiv.org/abs/2105.00105v1
• Date: Fri, 30 Apr 2021 22:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 13:37:49.616260
• Title: Tensor Random Projection for Low Memory Dimension Reduction
• Title（参考訳）: 低メモリ次元縮小のためのテンソルランダム投影
• Authors: Yiming Sun and Yang Guo and Joel A. Tropp and Madeleine Udell
• Abstract要約: ランダムプロジェクションは、構造情報を維持しながらベクトルの集合の次元を減少させる。 本稿では,ランダムプロジェクションにおける行積ランダム行列の新規利用を提案する。 既存の次元縮小写像よりも大幅に少ないメモリを必要とする。
• 参考スコア（独自算出の注目度）: 22.715952036307648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random projections reduce the dimension of a set of vectors while preserving structural information, such as distances between vectors in the set. This paper proposes a novel use of row-product random matrices in random projection, where we call it Tensor Random Projection (TRP). It requires substantially less memory than existing dimension reduction maps. The TRP map is formed as the Khatri-Rao product of several smaller random projections, and is compatible with any base random projection including sparse maps, which enable dimension reduction with very low query cost and no floating point operations. We also develop a reduced variance extension. We provide a theoretical analysis of the bias and variance of the TRP, and a non-asymptotic error analysis for a TRP composed of two smaller maps. Experiments on both synthetic and MNIST data show that our method performs as well as conventional methods with substantially less storage.
• Abstract（参考訳）: ランダム射影は、集合内のベクトル間の距離のような構造情報を保持しながら、ベクトルの集合の次元を減少させる。 本稿では, ランダムプロジェクションにおける行生成ランダム行列の新たな利用法を提案し, これをテンソルランダムプロジェクション(TRP)と呼ぶ。 既存の次元縮小写像よりも大幅に少ないメモリを必要とする。 trp マップは、いくつかの小さなランダム射影の khatri-rao 積として形成され、スパースマップを含む任意の基底ランダム射影と互換性があり、非常に低いクエリコストで浮動小数点演算を不要にできる。 また,分散拡張の低減も実現している。 本稿では,TRPのバイアスと分散の理論的解析と,より小さな2つの地図からなるTRPに対する非漸近誤差解析について述べる。 合成MNISTデータとMNISTデータの両方を用いた実験により,本手法は従来手法と同様に,保存量を大幅に削減した。

関連論文リスト

• Distributed Least Squares in Small Space via Sketching and Bias Reduction [0.0]
  マトリックススケッチは、大きなデータ行列のサイズを減らす強力なツールである。 誤差よりも推定器のバイアスを最小限に抑えるスケッチ手法を設計することで,これらの制限を分散環境で回避できることを示す。 特に、最適空間と現在の行列乗算時間で動作するスパーススケッチ法を提案し、2つのパスデータを用いて、ほぼ偏りのない最小二乗推定器を復元する。
  論文  参考訳（メタデータ） (2024-05-08T18:16:37Z)
• Optimal Projections for Discriminative Dictionary Learning using the JL-lemma [0.5461938536945723]
  次元減少に基づく辞書学習法は、しばしば反復的ランダムプロジェクションを用いている。 本稿では、ジョンソン-リンデンシュトラウス補題を用いて、投影行列をデランドマイズする構成的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-27T02:59:59Z)
• Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
  高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。 我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。 観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:45:53Z)
• Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View Tomography [58.60249163402822]
  未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。 提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-07-06T21:40:59Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Tensorized Random Projections [8.279639493543401]
  テンソルトレイン(TT)とCP分解形式に依存した2つのテンソル化ランダムプロジェクションマップを提案する。 2つのマップはメモリ要件が非常に低く、入力がCPまたはTTフォーマットで与えられる低階テンソルである場合に効率よく適用できる。 その結果, TTフォーマットは, 同じ歪み比を達成するのに必要な乱射影の大きさにおいて, CPよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-11T03:56:44Z)
• Stable Sparse Subspace Embedding for Dimensionality Reduction [9.033485533901658]
  本稿では,統計的に置き換えることなくランダムサンプリングに基づいて,安定なスパース部分空間埋め込み行列を構築した。 S-SSEは既存の行列よりも安定であることが証明され、次元減少後の点間のユークリッド距離を維持することができる。
  論文  参考訳（メタデータ） (2020-02-07T15:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。