論文の概要: Non-Volatile Memory Accelerated Geometric Multi-Scale Resolution Analysis

• arxiv url: http://arxiv.org/abs/2202.11518v1
• Date: Mon, 21 Feb 2022 20:07:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 07:48:48.271188
• Title: Non-Volatile Memory Accelerated Geometric Multi-Scale Resolution Analysis
• Title（参考訳）: 非揮発性メモリ加速幾何多スケール分解能解析
• Authors: Andrew Wood, Moshik Hershcovitch, Daniel Waddington, Sarel Cohen, Meredith Wolf, Hongjun Suh, Weiyu Zong, Peter Chin
• Abstract要約: 我々は,幾何多スケール分解能解析 (Geometric Multi-Scale Resolution Analysis, GMRA) と呼ばれる既存の次元削減手法を再実装する。 私たちの実装では、Pythonデータ型をネイティブにサポートするPyMMと呼ばれるMCASの特殊なバージョンを使用しています。 我々は、PyMMの実装をDRAMの実装と比較し、データがDRAMに適合すると、PyMMは競合するランタイムを提供することを示す。
• 参考スコア（独自算出の注目度）: 2.869486692963884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dimensionality reduction algorithms are standard tools in a researcher's toolbox. Dimensionality reduction algorithms are frequently used to augment downstream tasks such as machine learning, data science, and also are exploratory methods for understanding complex phenomena. For instance, dimensionality reduction is commonly used in Biology as well as Neuroscience to understand data collected from biological subjects. However, dimensionality reduction techniques are limited by the von-Neumann architectures that they execute on. Specifically, data intensive algorithms such as dimensionality reduction techniques often require fast, high capacity, persistent memory which historically hardware has been unable to provide at the same time. In this paper, we present a re-implementation of an existing dimensionality reduction technique called Geometric Multi-Scale Resolution Analysis (GMRA) which has been accelerated via novel persistent memory technology called Memory Centric Active Storage (MCAS). Our implementation uses a specialized version of MCAS called PyMM that provides native support for Python datatypes including NumPy arrays and PyTorch tensors. We compare our PyMM implementation against a DRAM implementation, and show that when data fits in DRAM, PyMM offers competitive runtimes. When data does not fit in DRAM, our PyMM implementation is still able to process the data.
• Abstract（参考訳）: 次元削減アルゴリズムは研究者のツールボックスの標準ツールである。 次元還元アルゴリズムは、機械学習やデータサイエンスなどの下流タスクの強化や、複雑な現象を理解する探索的手法としてよく用いられる。 例えば、次元の縮小は生物学や神経科学で一般的に使われ、生物学的な対象から収集されたデータを理解する。 しかしながら、次元還元技術は、それらが実行するフォン・ノイマンのアーキテクチャによって制限される。 具体的には、次元削減技術のようなデータ集約アルゴリズムは、歴史的ハードウェアが同時に提供できない高速で高容量で永続的なメモリを必要とすることが多い。 本稿では,新しいメモリ技術である Memory Centric Active Storage (MCAS) によって高速化されたGeometric Multi-Scale Resolution Analysis (GMRA) という,既存の次元削減手法を再実装する。 我々の実装では、NumPy配列やPyTorchテンソルを含むPythonデータ型をネイティブにサポートするPyMMと呼ばれるMCASの特殊なバージョンを使用しています。 我々は、PyMMの実装をDRAMの実装と比較し、データがDRAMに適合すると、PyMMは競合するランタイムを提供することを示す。 データがDRAMに適合しない場合、PyMMの実装は依然としてデータを処理できます。

関連論文リスト

• Learning Structured Compressed Sensing with Automatic Resource Allocation [10.298464166235272]
  多次元データ取得には時間を要することが多く、ハードウェアやソフトウェアにとって大きな課題となる。 情報理論に基づく教師なし学習戦略を用いたSCOSARA(Structured Compressed Sensing with Automatic Resource Allocation)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T17:53:33Z)
• Sliceformer: Make Multi-head Attention as Simple as Sorting in Discriminative Tasks [32.33355192614434]
  我々は,Sliceformerと呼ばれるトランスフォーマーの効果的かつ効率的なサロゲートを提案する。 我々のスライスフォーマーは、従来のMHA機構を極めて単純なスライシングソーシングの操作で置き換える。 我々のSliceformerは、Transformerとその変種よりもメモリコストが低く、高速な性能を実現しています。
  論文  参考訳（メタデータ） (2023-10-26T14:43:07Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Semiparametric Language Models Are Scalable Continual Learners [83.74414880208334]
  セミパラメトリック言語モデル(LM)は、新しいテキストデータから継続的に学習する上で有望であることを示す。 Selective Memorization(SeMem)と呼ばれるシンプルで直感的なアプローチを提案する。 SeMemは、モデルが苦労する可能性のある難しいサンプルのみを記憶している。
  論文  参考訳（メタデータ） (2023-03-02T17:15:02Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
  トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。 我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。 実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2022-03-02T15:25:27Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning [3.9596068699962315]
  連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。 本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。 その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-28T21:05:51Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。