論文の概要: Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams

• arxiv url: http://arxiv.org/abs/2406.16270v1
• Date: Mon, 24 Jun 2024 02:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 16:22:56.105256
• Title: Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams
• Title（参考訳）: 学習型重ヒッタと流路内流れの周波数推定
• Authors: Rana Shahout, Michael Mitzenmacher,
• Abstract要約: そこで本研究では,まず,大ヒット数,トップk,フロー周波数推定を識別する,LSSと呼ばれる競合カウンタベースのアルゴリズムを提案する。 以上の結果から, LSSは重打点, トップk, 流速推定において, スペースセービングの精度と効率を高めることができることが示された。
• 参考スコア（独自算出の注目度）: 9.22255012731159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying heavy hitters and estimating the frequencies of flows are fundamental tasks in various network domains. Existing approaches to this challenge can broadly be categorized into two groups, hashing-based and competing-counter-based. The Count-Min sketch is a standard example of a hashing-based algorithm, and the Space Saving algorithm is an example of a competing-counter algorithm. Recent works have explored the use of machine learning to enhance algorithms for frequency estimation problems, under the algorithms with prediction framework. However, these works have focused solely on the hashing-based approach, which may not be best for identifying heavy hitters. In this paper, we present the first learned competing-counter-based algorithm, called LSS, for identifying heavy hitters, top k, and flow frequency estimation that utilizes the well-known Space Saving algorithm. We provide theoretical insights into how and to what extent our approach can improve upon Space Saving, backed by experimental results on both synthetic and real-world datasets. Our evaluation demonstrates that LSS can enhance the accuracy and efficiency of Space Saving in identifying heavy hitters, top k, and estimating flow frequencies.
• Abstract（参考訳）: 各種ネットワーク領域の基本課題は,重打点の同定と流れの周波数推定である。 この課題に対する既存のアプローチは、ハッシュベースと競合カウンタベースという2つのグループに大別できる。 Count-Minスケッチはハッシュベースのアルゴリズムの標準的な例であり、Space Savingアルゴリズムは競合するカウンタアルゴリズムの例である。 最近の研究は、予測フレームワークを用いたアルゴリズムの下で、周波数推定問題のアルゴリズムを強化する機械学習の利用について検討している。 しかし、これらの研究はハッシュベースのアプローチにのみ焦点を絞っている。 本稿では,よく知られたSpace Savingアルゴリズムを用いたヘビーヒットタ,トップk,フロー周波数推定のための,LSSと呼ばれる,初めて学習された競合カウンタベースのアルゴリズムを提案する。 合成と実世界の両方のデータセットに関する実験結果が背景にあるスペースセービングにおいて、我々のアプローチがどのようにして、どの程度改善できるかに関する理論的洞察を提供する。 以上の結果から, LSSは重打点, トップk, 流速推定において, スペースセービングの精度と効率を高めることができることが示された。

関連論文リスト

• Improved Frequency Estimation Algorithms with and without Predictions [22.382900492405938]
  データストリームに現れる要素の頻度を推定することは、大規模データ分析において重要なタスクである。 理論的には,Hsu等の学習に基づくアルゴリズムを,予測を使わずに上回る新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:59:06Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• On the Effective Usage of Priors in RSS-based Localization [56.68864078417909]
  本稿では、受信信号強度(RSS)指紋と畳み込みニューラルネットワークに基づくアルゴリズムLocUNetを提案する。 本稿では,密集市街地における局所化問題について検討する。 まず,LocUNetがRx位置やRxの事前分布を学習し,トレーニングデータから送信者(Tx)アソシエーションの好みを学習し,その性能を評価できることを示す。
  論文  参考訳（メタデータ） (2022-11-28T00:31:02Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Early Time-Series Classification Algorithms: An Empirical Comparison [59.82930053437851]
  早期時系列分類(Early Time-Series Classification, ETSC)は、できるだけ少ない測定で時系列のクラスを予測するタスクである。 既存のETSCアルゴリズムを公開データと,新たに導入された2つのデータセットで評価した。
  論文  参考訳（メタデータ） (2022-03-03T10:43:56Z)
• Fast Density Estimation for Density-based Clustering Methods [3.8972699157287702]
  密度に基づくクラスタリングアルゴリズムは、パターン認識や機械学習におけるクラスタの発見に広く利用されている。 密度に基づくアルゴリズムのロバスト性は、隣人を見つけ、時間を要する各点の密度を計算することによって大きく支配される。 本稿では, 高速主成分分析による密度に基づくクラスタリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-23T13:59:42Z)
• A quantum algorithm for gravitational wave matched filtering [0.0]
  雑音データ中の未知信号の検出に量子アルゴリズムを適用することを提案する。 古典的手法と比較して、これはテンプレートの数の二乗根に比例するスピードアップを与える。 本稿では,基本量子回路の実装の実証と,第1次重力波信号GW150914の検出に対するアルゴリズムの適用のシミュレーションの両方を実証する。
  論文  参考訳（メタデータ） (2021-09-03T13:58:58Z)
• A Sparse Structure Learning Algorithm for Bayesian Network Identification from Discrete High-Dimensional Data [0.40611352512781856]
  本稿では,高次元離散データから疎構造ベイズネットワークを学習する問題に対処する。 本稿では,空間特性とDAG特性を同時に満足するスコア関数を提案する。 具体的には,アルゴリズムを高次元データで効率的に動作させるため,最適化アルゴリズムに分散低減法を用いる。
  論文  参考訳（メタデータ） (2021-08-21T12:21:01Z)
• Learning to Hash Robustly, with Guarantees [79.68057056103014]
  本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。 理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。 我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
  論文  参考訳（メタデータ） (2021-08-11T20:21:30Z)
• Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection [66.05992706105224]
  本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。 ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。 実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-08-05T19:29:35Z)
• Frequency Estimation in Data Streams: Learning the Optimal Hashing Scheme [3.7565501074323224]
  本稿では,最適化と機械学習に基づくデータストリームの周波数推定問題に対する新しいアプローチを提案する。 提案手法は、観測されたストリームプレフィックスをほぼ最適にハッシュ要素に利用し、ターゲット周波数分布を圧縮する。 提案手法は, 推定誤差の平均(要素単位)と推定誤差の平均(要素単位)で1～2桁, 予測誤差で45～90%の精度で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T22:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。