論文の概要: Memory-Efficient Sequential Pattern Mining with Hybrid Tries

• arxiv url: http://arxiv.org/abs/2202.06834v2
• Date: Fri, 1 Mar 2024 03:35:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-04 14:47:54.276643
• Title: Memory-Efficient Sequential Pattern Mining with Hybrid Tries
• Title（参考訳）: ハイブリッドトライによるメモリ効率のよいシーケンシャルパターンマイニング
• Authors: Amin Hosseininasab, Willem-Jan van Hoeve, Andre A. Cire
• Abstract要約: 本稿では,逐次パターンマイニング(SPM)のためのメモリ効率向上手法を提案する。 実時間テストインスタンスの数値結果は、メモリ消費量が88%、計算時間が41%の平均的な改善を示している。
• 参考スコア（独自算出の注目度）: 3.5681028373124066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As modern data sets continue to grow exponentially in size, the demand for efficient mining algorithms capable of handling such large data sets becomes increasingly imperative. This paper develops a memory-efficient approach for Sequential Pattern Mining (SPM), a fundamental topic in knowledge discovery that faces a well-known memory bottleneck for large data sets. Our methodology involves a novel hybrid trie data structure that exploits recurring patterns to compactly store the data set in memory; and a corresponding mining algorithm designed to effectively extract patterns from this compact representation. Numerical results on real-life test instances show an average improvement of 88% in memory consumption and 41% in computation time for small to medium-sized data sets compared to the state of the art. Furthermore, our algorithm stands out as the only capable SPM approach for large data sets within 256GB of system memory.
• Abstract（参考訳）: 現代のデータセットのサイズが指数関数的に増加するにつれて、このような大規模データセットを処理できる効率的なマイニングアルゴリズムの需要はますます強くなっている。 本稿では,大規模データセットのメモリボトルネックに直面する知識発見の基本的なトピックである逐次パターンマイニング(SPM)のメモリ効率向上手法を開発する。 提案手法は,再帰的パターンを活用し,データセットをメモリにコンパクトに格納する新しいハイブリッドトライデータ構造と,このコンパクト表現からパターンを効果的に抽出する対応するマイニングアルゴリズムを含む。 実生活におけるテストインスタンスの数値結果から,技術状況と比較して,メモリ消費88%,小～中規模のデータセットの計算時間41%が平均的に向上していることがわかった。 さらに,このアルゴリズムは256gbのシステムメモリ内に存在する大規模データセットに対して,唯一のspmアプローチとして注目されている。

関連論文リスト

• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• An Efficient Procedure for Computing Bayesian Network Structure Learning [0.9208007322096532]
  本稿では,段階的にレベル付けされたスコアリング手法に基づいて,グローバルに最適なベイズネットワーク構造探索アルゴリズムを提案する。 実験結果から,本手法はメモリのみを使用する場合,ピークメモリ使用量を削減するだけでなく,計算効率も向上することが示された。
  論文  参考訳（メタデータ） (2024-07-24T07:59:18Z)
• Associative Memories in the Feature Space [68.1903319310263]
  本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
  論文  参考訳（メタデータ） (2024-02-16T16:37:48Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Generative Optimization Networks for Memory Efficient Data Generation [11.452816167207937]
  本稿では,生成最適化ネットワーク(GON)と呼ばれる新しいフレームワークを提案する。 GONは単一の識別器ネットワークを使用し、入力空間で最適化を行い、新しいデータサンプルを生成し、トレーニング時間とメモリ消費の効果的な妥協を実現する。 我々のフレームワークでは、検出F1スコアが最大で32%、メモリ消費が58%、トレーニングオーバーヘッドが最先端と比較してわずか5%高いことが示されています。
  論文  参考訳（メタデータ） (2021-10-06T16:54:33Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)
• IMAC: In-memory multi-bit Multiplication andACcumulation in 6T SRAM Array [5.29958909018578]
  インメモリコンピューティングは、メモリアレイに計算のいくつかの側面を埋め込むことを目的としている。 6Tアレイ内で並列ドット生成を行うことができる新しいインメモリ乗算法を提案する。 提案システムはエネルギー消費の6.24倍、遅延の9.42倍である。
  論文  参考訳（メタデータ） (2020-03-27T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。