論文の概要: ESTemd: A Distributed Processing Framework for Environmental Monitoring
based on Apache Kafka Streaming Engine
- arxiv url: http://arxiv.org/abs/2104.01082v1
- Date: Fri, 2 Apr 2021 15:04:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 16:16:40.294337
- Title: ESTemd: A Distributed Processing Framework for Environmental Monitoring
based on Apache Kafka Streaming Engine
- Title（参考訳）: ESTemd: Apache Kafkaストリーミングエンジンに基づく環境モニタリングのための分散処理フレームワーク
- Authors: Adeyinka Akanbi
- Abstract要約: 分散ネットワークとリアルタイムシステムは、新しいコンピュータ時代、モノのインターネットにとって最も重要なコンポーネントになりつつある。
生成されたデータは、微妙な生態から自然資源、都市環境まで、環境指標を計測、推測、理解する能力を提供する。
不均質な環境データにストリーム処理を適用するための分散フレームワークであるEvent STream Processing Engine for Environmental Monitoring Domain (ESTemd)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed networks and real-time systems are becoming the most important
components for the new computer age, the Internet of Things (IoT), with huge
data streams or data sets generated from sensors and data generated from
existing legacy systems. The data generated offers the ability to measure,
infer and understand environmental indicators, from delicate ecologies and
natural resources to urban environments. This can be achieved through the
analysis of the heterogeneous data sources (structured and unstructured). In
this paper, we propose a distributed framework Event STream Processing Engine
for Environmental Monitoring Domain (ESTemd) for the application of stream
processing on heterogeneous environmental data. Our work in this area
demonstrates the useful role big data techniques can play in an environmental
decision support system, early warning and forecasting systems. The proposed
framework addresses the challenges of data heterogeneity from heterogeneous
systems and real time processing of huge environmental datasets through a
publish/subscribe method via a unified data pipeline with the application of
Apache Kafka for real time analytics.
- Abstract（参考訳）: 分散ネットワークとリアルタイムシステムは、iot(internet of things, モノのインターネット)と呼ばれる新しいコンピュータ時代において最も重要なコンポーネントになりつつある。
生成されたデータは、微妙な生態学や天然資源から都市環境まで、環境指標を計測、推測、理解する能力を提供する。
これは異種データソース(構造化および非構造化)の分析によって達成できる。
本稿では,異種環境データにストリーム処理を適用するための分散フレームワークであるEvent STream Processing Engine for Environmental Monitoring Domain (ESTemd)を提案する。
本研究は, 環境意思決定支援システム, 早期警戒・予測システムにおいて, ビッグデータ技術が果たす役割を実証するものである。
提案フレームワークは,Apache Kafkaをリアルタイム分析に適用した統一データパイプラインを通じて,異種システムからのデータの均一性と,巨大な環境データセットのリアルタイム処理という課題に対処する。
関連論文リスト
- Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - Digital Ecosystem for FAIR Time Series Data Management in Environmental System Science [0.0]
本稿では時系列データを管理する汎用的で転送可能なデジタルエコシステムを提案する。
システムは高度に適応可能で、クラウド対応で、幅広い設定でデプロイするのに適しています。
論文 参考訳（メタデータ） (2024-09-05T08:53:23Z) - Development of Semantics-Based Distributed Middleware for Heterogeneous Data Integration and its Application for Drought [0.0]
干ばつは、世界中の何百万もの人々やコミュニティに影響を与える複雑な環境現象である。
本研究は、現地の知識とセンサデータのデータモデルを包含し、統合する意味論に基づくデータ統合を開発する。
ドメインの専門家から集められた干ばつに関する現地の知識は、誘惑的推論を行うために使われる規則に変換される。
論文 参考訳（メタデータ） (2024-05-17T11:44:22Z) - Rule based Complex Event Processing for an Air Quality Monitoring System in Smart City [0.929965561686354]
本研究は,ルールベースの複合イベント処理(CEP)とSPARQLクエリを用いた大気質監視のための統合フレームワークを提案する。
データセットはインドのCPCB(Central Pollution Control Board)から収集され、そのデータは前処理され、Apache Kafkaに渡される。
その結果、前処理されたデータをRDF(Resource Description Framework)データに変換し、CEPエンジンに取り込み込む知識グラフと統合する。
論文 参考訳（メタデータ） (2024-03-16T10:35:34Z) - SpaCE: The Spatial Confounding Environment [2.572906392867547]
SpaCEは、因果推論メソッドを評価するための、現実的なベンチマークデータセットとツールを提供する。
各データセットには、トレーニングデータ、真のカウンターファクト、座標付き空間グラフ、滑らかさと欠点のあるスコアが含まれている。
SpaCEは、エンドツーエンドのパイプラインの自動化、データのロードの簡略化、実験的なセットアップ、マシンラーニングと因果推論モデルの評価を容易にする。
論文 参考訳（メタデータ） (2023-12-01T16:42:57Z) - OEBench: Investigating Open Environment Challenges in Real-World
Relational Data Streams [32.898349646434326]
我々はOEBenchという名のオープン環境ベンチマークを開発し、実世界のリレーショナルデータストリームにおけるオープン環境の課題を評価する。
オープン環境のシナリオに適用した場合,データ量の増加はモデル精度を常に向上させるには至らない。
論文 参考訳（メタデータ） (2023-08-29T06:43:29Z) - Multimodal Dataset from Harsh Sub-Terranean Environment with Aerosol
Particles for Frontier Exploration [55.41644538483948]
本稿では, エアロゾル粒子を用いた過酷で非構造的な地下環境からのマルチモーダルデータセットを提案する。
ロボットオペレーティング・システム(ROS)フォーマットのすべてのオンボードセンサーから、同期された生データ計測を含んでいる。
本研究の焦点は、時間的・空間的なデータの多様性を捉えることだけでなく、取得したデータに厳しい条件が及ぼす影響を示すことである。
論文 参考訳（メタデータ） (2023-04-27T20:21:18Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Optical flow-based branch segmentation for complex orchard environments [73.11023209243326]
シミュレーションでは、シミュレーションでは、シミュレーションされたRGBデータと光フローのみを用いてニューラルネットワークシステムを訓練する。
このニューラルネットワークは、忙しい果樹園環境において、追加の現実世界のトレーニングや、標準カメラ以外の特別な設定や機器を使用することなく、前景の枝のセグメンテーションを行うことができる。
その結果,本システムは高精度であり,手動ラベル付きRGBDデータを用いたネットワークと比較すると,トレーニングセットと異なる環境において,より一貫性と堅牢性を実現していることがわかった。
論文 参考訳（メタデータ） (2022-02-26T03:38:20Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。