論文の概要: Memory Efficient Tries for Sequential Pattern Mining
- arxiv url: http://arxiv.org/abs/2202.06834v1
- Date: Sun, 6 Feb 2022 16:25:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-20 16:30:57.028365
- Title: Memory Efficient Tries for Sequential Pattern Mining
- Title(参考訳): 逐次パターンマイニングのためのメモリ効率向上の試み
- Authors: Amin Hosseininasab, Willem-Jan van Hoeve, Andre A. Cire
- Abstract要約: 我々は、よく知られたメモリボトルネックに直面している知識発見の基本的なトピックであるシーケンスパターンマイニング(SPM)に焦点を当てる。
我々は、大規模データセットの順序を効果的にマイニングできるトリエベースのデータセットモデルと関連するマイニングアルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 2.320417845168326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid and continuous growth of data has increased the need for scalable
mining algorithms in unsupervised learning and knowledge discovery. In this
paper, we focus on Sequential Pattern Mining (SPM), a fundamental topic in
knowledge discovery that faces a well-known memory bottleneck. We examine
generic dataset modeling techniques and show how they can be used to improve
SPM algorithms in time and memory usage. In particular, we develop trie-based
dataset models and associated mining algorithms that can represent as well as
effectively mine orders of magnitude larger datasets compared to the state of
the art. Numerical results on real-life large-size test instances show that our
algorithms are also faster and more memory efficient in practice.
- Abstract(参考訳): データの迅速かつ継続的な成長により、教師なし学習と知識発見におけるスケーラブルなマイニングアルゴリズムの必要性が高まっている。
本稿では、よく知られたメモリボトルネックに直面した知識発見の基本的なトピックであるシーケンスパターンマイニング(SPM)に焦点を当てる。
汎用データセットモデリング手法について検討し,spmアルゴリズムの時間とメモリ使用率の改善に利用できることを示す。
特に,trieベースのデータセットモデルと関連するマイニングアルゴリズムを開発し,そのアルゴリズムは,最先端と比較して,桁違いに大きなデータセットを効果的にマイニングすることができる。
実生活の大規模テストインスタンスにおける数値結果は、我々のアルゴリズムが実際より高速でメモリ効率が良いことを示している。
関連論文リスト
- Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳(メタデータ) (2024-10-22T17:59:30Z) - An Efficient Procedure for Computing Bayesian Network Structure Learning [0.9208007322096532]
本稿では,段階的にレベル付けされたスコアリング手法に基づいて,グローバルに最適なベイズネットワーク構造探索アルゴリズムを提案する。
実験結果から,本手法はメモリのみを使用する場合,ピークメモリ使用量を削減するだけでなく,計算効率も向上することが示された。
論文 参考訳(メタデータ) (2024-07-24T07:59:18Z) - Associative Memories in the Feature Space [68.1903319310263]
本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。
MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
論文 参考訳(メタデータ) (2024-02-16T16:37:48Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Generative Optimization Networks for Memory Efficient Data Generation [11.452816167207937]
本稿では,生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案する。
GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。
我々のフレームワークでは、検出F1スコアが最大で32%、メモリ消費が58%、トレーニングオーバーヘッドが最先端と比較してわずか5%高いことが示されています。
論文 参考訳(メタデータ) (2021-10-06T16:54:33Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - Reinforcing Short-Length Hashing [61.75883795807109]
既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。
本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。
本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。
3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
論文 参考訳(メタデータ) (2020-04-24T02:23:52Z) - IMAC: In-memory multi-bit Multiplication andACcumulation in 6T SRAM
Array [5.29958909018578]
インメモリコンピューティングは、メモリアレイに計算のいくつかの側面を埋め込むことを目的としている。
6Tアレイ内で並列ドット生成を行うことができる新しいインメモリ乗算法を提案する。
提案システムはエネルギー消費の6.24倍、遅延の9.42倍である。
論文 参考訳(メタデータ) (2020-03-27T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。