論文の概要: Ranking and benchmarking framework for sampling algorithms on synthetic
data streams
- arxiv url: http://arxiv.org/abs/2006.09895v1
- Date: Wed, 17 Jun 2020 14:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 21:12:10.151187
- Title: Ranking and benchmarking framework for sampling algorithms on synthetic
data streams
- Title（参考訳）: 合成データストリームにおけるサンプリングアルゴリズムのランキングとベンチマークフレームワーク
- Authors: J\'ozsef D\'aniel G\'asp\'ar, Martin Horv\'ath, Gy\H{o}z\H{o}
Horv\'ath and Zolt\'an Zvara
- Abstract要約: ビッグデータ、AI、ストリーミング処理では、複数のソースから大量のデータを処理します。
メモリとネットワークの制限のため、分散システム上のデータストリームを処理し、計算とネットワークの負荷を軽減する。
概念のドリフトに反応するアルゴリズムを提供し、我々のフレームワークを用いた最先端のアルゴリズムと比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the fields of big data, AI, and streaming processing, we work with large
amounts of data from multiple sources. Due to memory and network limitations,
we process data streams on distributed systems to alleviate computational and
network loads. When data streams with non-uniform distributions are processed,
we often observe overloaded partitions due to the use of simple hash
partitioning. To tackle this imbalance, we can use dynamic partitioning
algorithms that require a sampling algorithm to precisely estimate the
underlying distribution of the data stream. There is no standardized way to
test these algorithms. We offer an extensible ranking framework with benchmark
and hyperparameter optimization capabilities and supply our framework with a
data generator that can handle concept drifts.
Our work includes a generator for dynamic micro-bursts that we can apply to
any data stream. We provide algorithms that react to concept drifts and compare
those against the state-of-the-art algorithms using our framework.
- Abstract（参考訳）: ビッグデータ、ai、ストリーミング処理の分野では、複数のソースからの大量のデータを扱う。
メモリとネットワークの制限のため、分散システム上のデータストリームを処理し、計算とネットワークの負荷を軽減する。
非均一な分散を伴うデータストリームを処理する場合、単純なハッシュパーティショニングを使用するため、オーバーロードされたパーティショニングをしばしば観察する。
この不均衡に対処するために、データストリームの基盤となる分布を正確に推定するためにサンプリングアルゴリズムを必要とする動的パーティショニングアルゴリズムを使用することができる。
これらのアルゴリズムをテストする標準的な方法はありません。
ベンチマークとハイパーパラメータ最適化機能を備えた拡張可能なランキングフレームワークを提供し、コンセプトドリフトを処理可能なデータジェネレータをフレームワークに提供する。
私たちの仕事には、どんなデータストリームにも適用可能な動的マイクロバーストのジェネレータが含まれています。
我々は,概念ドリフトに反応し,それを最先端のアルゴリズムと比較するアルゴリズムを提供する。
関連論文リスト
- A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳（メタデータ） (2024-07-19T08:29:12Z) - An Algorithm for Streaming Differentially Private Data [7.726042106665366]
我々は、特に空間データセットに対して計算された、微分プライベートな合成ストリーミングデータ生成のためのアルゴリズムを導出する。
本アルゴリズムの有効性は実世界とシミュレーションデータセットの両方で検証される。
論文 参考訳（メタデータ） (2024-01-26T00:32:31Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - PARTIME: Scalable and Parallel Processing Over Time with Deep Neural
Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。
PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。
オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文 参考訳（メタデータ） (2022-10-17T14:49:14Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Imbalanced Big Data Oversampling: Taxonomy, Algorithms, Software,
Guidelines and Future Directions [6.436899373275926]
不均衡なビッグデータに対するオーバーサンプリングアルゴリズムの全体像を提案する。
14の最先端のオーバーサンプリングアルゴリズムを備えたSparkライブラリを導入しました。
オーバーサンプリングアルゴリズムの精度と時間的複雑さのトレードオフを評価する。
論文 参考訳（メタデータ） (2021-07-24T01:49:46Z) - Providing Meaningful Data Summarizations Using Examplar-based Clustering
in Industry 4.0 [67.80123919697971]
我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。
提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2021-05-25T15:55:14Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Frequency Estimation in Data Streams: Learning the Optimal Hashing
Scheme [3.7565501074323224]
本稿では,最適化と機械学習に基づくデータストリームの周波数推定問題に対する新しいアプローチを提案する。
提案手法は、観測されたストリームプレフィックスをほぼ最適にハッシュ要素に利用し、ターゲット周波数分布を圧縮する。
提案手法は, 推定誤差の平均(要素単位)と推定誤差の平均(要素単位)で1～2桁, 予測誤差で45～90%の精度で既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-07-17T22:15:22Z) - Scaling-up Distributed Processing of Data Streams for Machine Learning [10.581140430698103]
本稿では,計算・帯域幅制限方式における大規模分散最適化に着目した手法を最近開発した。
i)分散凸問題、(ii)分散主成分分析、(ii)グローバル収束を許容する幾何学的構造に関する非問題である。
論文 参考訳（メタデータ） (2020-05-18T16:28:54Z) - How to Solve Fair $k$-Center in Massive Data Models [5.3283669037198615]
我々は、$k$-center問題に対して、新しいストリーミングおよび分散アルゴリズムを設計する。
主な貢献は、(a)最初の分散アルゴリズム、(b)証明可能な近似保証付き2パスストリーミングアルゴリズムである。
論文 参考訳（メタデータ） (2020-02-18T16:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。