論文の概要: Pattern Recognition and Event Detection on IoT Data-streams
- arxiv url: http://arxiv.org/abs/2203.01114v1
- Date: Wed, 2 Mar 2022 15:19:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 20:37:25.666427
- Title: Pattern Recognition and Event Detection on IoT Data-streams
- Title（参考訳）: IoTデータストリームにおけるパターン認識とイベント検出
- Authors: Christos Karras, Aristeidis Karras and Spyros Sioutas
- Abstract要約: ビッグデータストリームは、その急速なペースと限られた情報ライフタイムのために、処理が難しい。
ストリーム全体あるいはその大きな部分にわたって関数を格納、送信、計算しながら、ストリームサンプルを収集、通信することは困難である。
ストリーム技術は、時間や精度の制限だけでなく、計算能力やメモリなどの1つ以上のリソースの限られた容量を意味する。
- 参考スコア（独自算出の注目度）: 0.483420384410068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Big data streams are possibly one of the most essential underlying notions.
However, data streams are often challenging to handle owing to their rapid pace
and limited information lifetime. It is difficult to collect and communicate
stream samples while storing, transmitting and computing a function across the
whole stream or even a large segment of it. In answer to this research issue,
many streaming-specific solutions were developed. Stream techniques imply a
limited capacity of one or more resources such as computing power and memory,
as well as time or accuracy limits. Reservoir sampling algorithms choose and
store results that are probabilistically significant. A weighted random
sampling approach using a generalised sampling algorithmic framework to detect
unique events is the key research goal of this work. Briefly, a gradually
developed estimate of the joint stream distribution across all feasible
components keeps k stream elements judged representative for the full stream.
Once estimate confidence is high, k samples are chosen evenly. The complexity
is O(min(k,n-k)), where n is the number of items inspected. Due to the fact
that events are usually considered outliers, it is sufficient to extract
element patterns and push them to an alternate version of k-means as proposed
here. The suggested technique calculates the sum of squared errors (SSE) for
each cluster, and this is utilised not only as a measure of convergence, but
also as a quantification and an indirect assessment of the element
distribution's approximation accuracy. This clustering enables for the
detection of outliers in the stream based on their distance from the usual
event centroids. The findings reveal that weighted sampling and res-means
outperform typical approaches for stream event identification. Detected events
are shown as knowledge graphs, along with typical clusters of events.
- Abstract（参考訳）: ビッグデータストリームはおそらく最も基本的な概念の1つである。
しかし、データストリームは、その急速なペースと情報ライフタイムの制限のため、処理が難しいことが多い。
ストリーム全体あるいはその大きな部分にわたって関数を格納、送信、計算しながら、ストリームサンプルを収集、通信することは困難である。
この研究に答えて、多くのストリーミング特化ソリューションが開発された。
ストリーム技術は、計算能力やメモリなどの1つ以上のリソースの容量と、時間や精度の制限が制限されることを意味する。
貯留層サンプリングアルゴリズムは確率的に重要な結果を選択し保存する。
固有事象を検出するための一般化サンプリングアルゴリズムフレームワークを用いた重み付きランダムサンプリングアプローチは、この研究の重要な研究目標である。
簡単に言うと、すべての実現可能なコンポーネントにわたるジョイントストリーム分布の段階的な推定によって、フルストリームに代表されるkストリーム要素が決定される。
推定信頼度が高いと、kサンプルが均等に選択される。
複雑性は o(min(k,n-k)) であり、n は検査される項目の数である。
イベントは通常、外れ値と見なされるため、要素パターンを抽出して、ここで提案したk-meansの代替バージョンにプッシュするのに十分である。
提案手法は,各クラスタの2乗誤差の和(sse)を計算し,収束の尺度としてだけでなく,要素分布の近似精度の定量化や間接的評価にも利用される。
このクラスタリングにより、通常のイベントセンタロイドからの距離に基づいてストリーム内の異常値の検出が可能になる。
重み付きサンプリングとres-meansはストリームイベント識別の典型的なアプローチを上回っている。
検出されたイベントは、典型的なイベントのクラスタとともに、知識グラフとして表示される。
関連論文リスト
- FunQuant: A R package to perform quantization in the context of rare
events and time-consuming simulations [0.0]
量子化は離散近似を計算することによって連続分布を要約する。
データ量子化の広く採用されている方法の1つにロイドのアルゴリズムがあり、このアルゴリズムは空間を「ボロノ」セルに分割し、クラスターとして見ることができる。
論文 参考訳（メタデータ） (2023-08-18T08:34:45Z) - Exploiting Structure for Optimal Multi-Agent Bayesian Decentralized
Estimation [4.320393382724066]
ベイジアン分権データ融合の鍵となる課題は、噂の伝播(double counting)現象である。
マルチエージェント分散核融合問題における確率的独立構造を利用して、より厳密な境界を求めることができることを示す。
次に、大規模目標追跡シミュレーションを用いて、新しいモノリシックCIアルゴリズムを試験し、より厳密な境界とより正確な推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-07-20T05:16:33Z) - Super-resolution GANs of randomly-seeded fields [68.8204255655161]
ランダムスパースセンサからフィールド量の推定を行うための,GAN(Super- resolution Generative Adversarial Network)フレームワークを提案する。
このアルゴリズムはランダムサンプリングを利用して、高解像度の基底分布の不完全ビューを提供する。
提案手法は, 流体流動シミュレーション, 海洋表面温度分布測定, 粒子画像速度測定データの合成データベースを用いて検証した。
論文 参考訳（メタデータ） (2022-02-23T18:57:53Z) - Improved Multi-objective Data Stream Clustering with Time and Memory
Optimization [0.0]
本稿では,新しいデータストリームクラスタリング手法(IMOC-Stream)を提案する。
2つの異なる目的関数を使用して、データの異なる側面をキャプチャする。
実験により, 任意の形状, コンパクト, 分離されたクラスタにデータストリームを分割できることを示す。
論文 参考訳（メタデータ） (2022-01-13T17:05:56Z) - An Efficient Anomaly Detection Approach using Cube Sampling with
Streaming Data [2.0515785954568626]
異常検出は侵入検知、健康モニタリング、故障診断、センサネットワークイベント検出など様々な分野で重要である。
孤立林(アイフォレスト)アプローチは、異常を検出するためのよく知られた手法である。
本稿では,ストリーミングデータに有効なキューブサンプリングを用いた,効率的なiForestに基づく異常検出手法を提案する。
論文 参考訳（メタデータ） (2021-10-05T04:23:00Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z) - Communication-Efficient Sampling for Distributed Training of Graph
Convolutional Networks [3.075766050800645]
隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。
先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。
本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-19T16:12:44Z) - Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。
サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。
サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
論文 参考訳（メタデータ） (2020-06-11T16:19:16Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z) - Block-Approximated Exponential Random Graphs [77.4792558024487]
指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。
本稿では,非自明なERGに対する近似フレームワークを提案する。
我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
論文 参考訳（メタデータ） (2020-02-14T11:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。