論文の概要: A scalable pipeline for COVID-19: the case study of Germany, Czechia and
Poland
- arxiv url: http://arxiv.org/abs/2208.12928v1
- Date: Sat, 27 Aug 2022 05:14:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 14:39:43.895308
- Title: A scalable pipeline for COVID-19: the case study of Germany, Czechia and
Poland
- Title(参考訳): スケーラブルなcovid-19パイプライン - ドイツ,チェコ,ポーランドを事例として
- Authors: Wildan Abdussalam, Adam Mertel, Kai Fan, Lennart Sch\"uler and
Weronika Schlechte-We{\l}nicz and Justin M. Calabrese
- Abstract要約: 複数のデータソースからデータセットを統合するために,運用データストア(ODS)を構築した。
ODSは、ドイツ、チェコ、ポーランドの新型コロナウイルス(COVID-19)データを保管するだけでなく、他の地域も保存するために構築されている。
データは、バージョン管理されたArimaHoltモデルとその他の分析を使用して予測をサポートし、意思決定をサポートするだけでなく、リスク電卓やアプリもサポートする。
- 参考スコア(独自算出の注目度): 7.753854979677439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Throughout the coronavirus disease 2019 (COVID-19) pandemic, decision makers
have relied on forecasting models to determine and implement non-pharmaceutical
interventions (NPI). In building the forecasting models, continuously updated
datasets from various stakeholders including developers, analysts, and testers
are required to provide precise predictions. Here we report the design of a
scalable pipeline which serves as a data synchronization to support
inter-country top-down spatiotemporal observations and forecasting models of
COVID-19, named the where2test, for Germany, Czechia and Poland. We have built
an operational data store (ODS) using PostgreSQL to continuously consolidate
datasets from multiple data sources, perform collaborative work, facilitate
high performance data analysis, and trace changes. The ODS has been built not
only to store the COVID-19 data from Germany, Czechia, and Poland but also
other areas. Employing the dimensional fact model, a schema of metadata is
capable of synchronizing the various structures of data from those regions, and
is scalable to the entire world. Next, the ODS is populated using batch
Extract, Transfer, and Load (ETL) jobs. The SQL queries are subsequently
created to reduce the need for pre-processing data for users. The data can then
support not only forecasting using a version-controlled Arima-Holt model and
other analyses to support decision making, but also risk calculator and
optimisation apps. The data synchronization runs at a daily interval, which is
displayed at https://www.where2test.de.
- Abstract(参考訳): 新型コロナウイルス(COVID-19)のパンデミックを通じて、意思決定者は非医薬品介入(NPI)の予測モデルに頼ってきた。
予測モデルを構築するには、開発者、アナリスト、テスタを含むさまざまなステークホルダのデータセットを継続的に更新する必要がある。
ここでは,ドイツ,チェコ,ポーランドのwhere2testという,国間トップダウン時空間観測と予測モデルをサポートするために,データ同期として機能するスケーラブルなパイプラインの設計について報告する。
PostgreSQLを使用して運用データストア(ODS)を構築し、複数のデータソースからのデータセットを継続的に統合し、協調作業を行い、ハイパフォーマンスなデータ分析とトレース変更を可能にしました。
odsは、ドイツ、チェコ、ポーランドのcovid-19データを格納するだけでなく、他の地域も保存するために開発された。
次元ファクトモデルを用いることで、メタデータのスキーマは、それらの領域からのさまざまなデータ構造を同期することができ、世界全体にスケーラブルである。
次に、ODSはバッチ抽出、転送、ロード(ETL)ジョブを使用して集約される。
その後、SQLクエリが作成され、ユーザのデータ前処理の必要性が軽減される。
データは、バージョン管理されたArima-Holtモデルとその他の分析を使用して予測をサポートし、意思決定をサポートするだけでなく、リスク計算と最適化アプリもサポートする。
データ同期は日間隔で実行され、https://www.where2test.deで表示される。
関連論文リスト
- Temporal Graph Benchmark for Machine Learning on Temporal Graphs [54.52243310226456]
テンポラルグラフベンチマーク(TGB)は、困難で多様なベンチマークデータセットのコレクションである。
各データセットをベンチマークし、共通のモデルのパフォーマンスがデータセット間で大きく異なることを発見した。
TGBは、再現可能でアクセス可能な時間グラフ研究のための自動機械学習パイプラインを提供する。
論文 参考訳(メタデータ) (2023-07-03T13:58:20Z) - Deep COVID-19 Forecasting for Multiple States with Data Augmentation [10.197800697048903]
本研究は、米国(米国)における毎週の累積死亡状況と、ドイツにおけるインシデント事例について、国家レベルの新型コロナウイルスの傾向を予測するためのディープラーニングアプローチを提案する。
このアプローチには、トランスモデル、アンサンブル法、時系列データ拡張技術が含まれる。
私たちのモデルは、米国とドイツ向けのCOVID-19 Forecast Hubで、最高の州レベルの成果を達成しました。
論文 参考訳(メタデータ) (2023-02-02T15:16:13Z) - Strict baselines for Covid-19 forecasting and ML perspective for USA and
Russia [105.54048699217668]
Covid-19は、2年間にわたって蓄積されたデータセットを収集し、予測分析に使用できるようにする。
本研究は、米国とロシアの2カ国の地域データに基づいて、Covid-19の拡散のダイナミクスを予測するための様々な種類の方法に関する一貫した研究結果である。
論文 参考訳(メタデータ) (2022-07-15T18:21:36Z) - Exploration of an End-to-End Automatic Number-plate Recognition neural
network for Indian datasets [0.0]
我々は現在、1.5k画像からなる拡張データセットと、このデータセットをインド条件のためのANPRソリューションの開発に向けて拡張するスケーラブルで再現可能な手順を公開している。
本研究は,インド数プレートの極端な多様性と,CCPDデータセットに対する分布の差異から,CCPDの著者らが提供したモデルの直接再利用可能性の障害について報告する。
LP検出では、インドのデータセットと中国のデータセットの特徴を一致させた後、42.86%の改善が観察された。
論文 参考訳(メタデータ) (2022-07-14T05:05:18Z) - Learning to be a Statistician: Learned Estimator for Number of Distinct
Values [54.629042119819744]
列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。
本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。
教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
論文 参考訳(メタデータ) (2022-02-06T15:42:04Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-11-23T18:59:08Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Towards physically consistent data-driven weather forecasting:
Integrating data assimilation with equivariance-preserving deep spatial
transformers [2.7998963147546148]
一般的なデータ駆動天気予報モデルと統合する3つのコンポーネントを提案する。
これらのコンポーネントは,1) 等価性を維持するためにU-NETの潜伏空間に付加された深部空間トランスフォーマー,2) ノイズ観測を取り込み,次の予測に対する初期条件を改善するデータ同化アルゴリズム,3) 複数段階のアルゴリズムにより,短時間で予測の精度が向上する。
論文 参考訳(メタデータ) (2021-03-16T23:15:00Z) - Interactive exploration of population scale pharmacoepidemiology
datasets [0.0]
有害薬物反応(ADR)に関連付けられた集団規模の薬物処方データは、薬物使用やADRパターンを検出するのに十分な大きさのモデルの適合を支援する。
大規模なデータセットでADRパターンを検出するには、スケーラブルなデータ処理、データ分析のための機械学習、インタラクティブな可視化のためのツールが必要である。
数百万のサンプルで処方用データセットのパターンをインタラクティブに探索するツールを開発しました。
論文 参考訳(メタデータ) (2020-05-20T07:34:50Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。