論文の概要: ESTemd: A Distributed Processing Framework for Environmental Monitoring
based on Apache Kafka Streaming Engine
- arxiv url: http://arxiv.org/abs/2104.01082v1
- Date: Fri, 2 Apr 2021 15:04:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 16:16:40.294337
- Title: ESTemd: A Distributed Processing Framework for Environmental Monitoring
based on Apache Kafka Streaming Engine
- Title(参考訳): ESTemd: Apache Kafkaストリーミングエンジンに基づく環境モニタリングのための分散処理フレームワーク
- Authors: Adeyinka Akanbi
- Abstract要約: 分散ネットワークとリアルタイムシステムは、新しいコンピュータ時代、モノのインターネットにとって最も重要なコンポーネントになりつつある。
生成されたデータは、微妙な生態から自然資源、都市環境まで、環境指標を計測、推測、理解する能力を提供する。
不均質な環境データにストリーム処理を適用するための分散フレームワークであるEvent STream Processing Engine for Environmental Monitoring Domain (ESTemd)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed networks and real-time systems are becoming the most important
components for the new computer age, the Internet of Things (IoT), with huge
data streams or data sets generated from sensors and data generated from
existing legacy systems. The data generated offers the ability to measure,
infer and understand environmental indicators, from delicate ecologies and
natural resources to urban environments. This can be achieved through the
analysis of the heterogeneous data sources (structured and unstructured). In
this paper, we propose a distributed framework Event STream Processing Engine
for Environmental Monitoring Domain (ESTemd) for the application of stream
processing on heterogeneous environmental data. Our work in this area
demonstrates the useful role big data techniques can play in an environmental
decision support system, early warning and forecasting systems. The proposed
framework addresses the challenges of data heterogeneity from heterogeneous
systems and real time processing of huge environmental datasets through a
publish/subscribe method via a unified data pipeline with the application of
Apache Kafka for real time analytics.
- Abstract(参考訳): 分散ネットワークとリアルタイムシステムは、iot(internet of things, モノのインターネット)と呼ばれる新しいコンピュータ時代において最も重要なコンポーネントになりつつある。
生成されたデータは、微妙な生態学や天然資源から都市環境まで、環境指標を計測、推測、理解する能力を提供する。
これは異種データソース(構造化および非構造化)の分析によって達成できる。
本稿では,異種環境データにストリーム処理を適用するための分散フレームワークであるEvent STream Processing Engine for Environmental Monitoring Domain (ESTemd)を提案する。
本研究は, 環境意思決定支援システム, 早期警戒・予測システムにおいて, ビッグデータ技術が果たす役割を実証するものである。
提案フレームワークは,Apache Kafkaをリアルタイム分析に適用した統一データパイプラインを通じて,異種システムからのデータの均一性と,巨大な環境データセットのリアルタイム処理という課題に対処する。
関連論文リスト
- SpaCE: The Spatial Confounding Environment [2.572906392867547]
SpaCEは、因果推論メソッドを評価するための、現実的なベンチマークデータセットとツールを提供する。
各データセットには、トレーニングデータ、真のカウンターファクト、座標付き空間グラフ、滑らかさと欠点のあるスコアが含まれている。
SpaCEは、エンドツーエンドのパイプラインの自動化、データのロードの簡略化、実験的なセットアップ、マシンラーニングと因果推論モデルの評価を容易にする。
論文 参考訳(メタデータ) (2023-12-01T16:42:57Z) - FREE: The Foundational Semantic Recognition for Modeling Environmental
Ecosystems [29.225299757264413]
FREEは利用可能な環境データをテキスト空間にマッピングし、環境科学における従来の予測モデリングタスクを意味認識問題に変換する。
長期予測に使用する場合、FREEは将来予測を強化するために新たに収集した観測を組み込む柔軟性を持つ。
FREEの有効性は、2つの社会的に重要な実世界の応用の文脈で評価され、デラウェア川流域の河川水温を予測し、イリノイ州とアイオワ州で毎年トウモロコシの収量を予測する。
論文 参考訳(メタデータ) (2023-11-17T00:53:09Z) - OEBench: Investigating Open Environment Challenges in Real-World
Relational Data Streams [32.898349646434326]
我々はOEBenchという名のオープン環境ベンチマークを開発し、実世界のリレーショナルデータストリームにおけるオープン環境の課題を評価する。
オープン環境のシナリオに適用した場合,データ量の増加はモデル精度を常に向上させるには至らない。
論文 参考訳(メタデータ) (2023-08-29T06:43:29Z) - Multimodal Dataset from Harsh Sub-Terranean Environment with Aerosol
Particles for Frontier Exploration [55.41644538483948]
本稿では, エアロゾル粒子を用いた過酷で非構造的な地下環境からのマルチモーダルデータセットを提案する。
ロボットオペレーティング・システム(ROS)フォーマットのすべてのオンボードセンサーから、同期された生データ計測を含んでいる。
本研究の焦点は、時間的・空間的なデータの多様性を捉えることだけでなく、取得したデータに厳しい条件が及ぼす影響を示すことである。
論文 参考訳(メタデータ) (2023-04-27T20:21:18Z) - Distributed Traffic Synthesis and Classification in Edge Networks: A
Federated Self-supervised Learning Approach [83.2160310392168]
本稿では,多数の異種データセット上での自動トラフィック解析と合成を支援するFS-GANを提案する。
FS-GANは複数の分散ジェネレーティブ・アドバイサル・ネットワーク(GAN)から構成される
FS-GANは未知のサービスのデータを分類し、未知のタイプのトラフィック分布をキャプチャする合成サンプルを作成する。
論文 参考訳(メタデータ) (2023-02-01T03:23:11Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Optical flow-based branch segmentation for complex orchard environments [73.11023209243326]
シミュレーションでは、シミュレーションでは、シミュレーションされたRGBデータと光フローのみを用いてニューラルネットワークシステムを訓練する。
このニューラルネットワークは、忙しい果樹園環境において、追加の現実世界のトレーニングや、標準カメラ以外の特別な設定や機器を使用することなく、前景の枝のセグメンテーションを行うことができる。
その結果,本システムは高精度であり,手動ラベル付きRGBDデータを用いたネットワークと比較すると,トレーニングセットと異なる環境において,より一貫性と堅牢性を実現していることがわかった。
論文 参考訳(メタデータ) (2022-02-26T03:38:20Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - A communication efficient distributed learning framework for smart
environments [0.4898659895355355]
本稿では,データ生成箇所にデータ分析を近づける分散学習フレームワークを提案する。
分散機械学習技術を使用することで、クラウドソリューションに匹敵するパフォーマンスを確保しながら、ネットワークオーバーヘッドを大幅に削減することができる。
分析はまた、ノード上のデータの特定の分布に基づいて、各分散学習アプローチがいつ好ましいかを示す。
論文 参考訳(メタデータ) (2021-09-27T13:44:34Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。