論文の概要: Linking the Dynamic PicoProbe Analytical Electron-Optical Beam Line /
Microscope to Supercomputers
- arxiv url: http://arxiv.org/abs/2308.13701v1
- Date: Fri, 25 Aug 2023 23:07:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 19:47:48.452707
- Title: Linking the Dynamic PicoProbe Analytical Electron-Optical Beam Line /
Microscope to Supercomputers
- Title(参考訳): 動的ピコローブ解析電子光学ビーム線/顕微鏡とスーパーコンピュータのリンク
- Authors: Alexander Brace, Rafael Vescovi, Ryan Chard, Nickolaus D. Saint,
Arvind Ramanathan, Nestor J. Zaluzec, Ian Foster
- Abstract要約: Argonne National Laboratory(アルゴンヌ国立研究所)のDynamic PicoProbe(ダイナミック・ピコプローブ)は、1日に最大100GBのデータを生成できるアップグレードを行っている。
このデータは、基本的な科学と産業の両方のアプリケーションにとって非常に重要であるが、現在、これらの高ボリュームのデータストリームを扱うためのオンサイトインフラストラクチャは限られている。
本稿では,隣接するArgonne Leadership Computing Facilityにおいて,近隣のスーパーコンピュータへの大規模データ転送を支援するソフトウェアアーキテクチャを提供することにより,この問題に対処する。
このインフラストラクチャは、期待されるワークロードをサポートし、ドメインサイエンティストに過去の実験からデータを再インターロゲートして、さらなる科学的価値をもたらし、新たな洞察を導き出す機能を提供する。
- 参考スコア(独自算出の注目度): 39.52789559084336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Dynamic PicoProbe at Argonne National Laboratory is undergoing upgrades
that will enable it to produce up to 100s of GB of data per day. While this
data is highly important for both fundamental science and industrial
applications, there is currently limited on-site infrastructure to handle these
high-volume data streams. We address this problem by providing a software
architecture capable of supporting large-scale data transfers to the
neighboring supercomputers at the Argonne Leadership Computing Facility. To
prepare for future scientific workflows, we implement two instructive use cases
for hyperspectral and spatiotemporal datasets, which include: (i) off-site data
transfer, (ii) machine learning/artificial intelligence and traditional data
analysis approaches, and (iii) automatic metadata extraction and cataloging of
experimental results. This infrastructure supports expected workloads and also
provides domain scientists the ability to reinterrogate data from past
experiments to yield additional scientific value and derive new insights.
- Abstract(参考訳): アルゴンヌ国立研究所のdynamic picoprobe(動的ピコローブ)は、1日に最大100gbのデータを生成するためのアップグレードを行っている。
このデータは、基礎科学と産業アプリケーションの両方にとって非常に重要であるが、現在、これらの大量のデータストリームを処理するためのオンサイトインフラストラクチャは限られている。
本稿では,Argonne Leadership Computing Facilityの周辺スーパーコンピュータへの大規模データ転送を支援するソフトウェアアーキテクチャを提供することで,この問題に対処する。
将来の科学ワークフローに備えるために、ハイパースペクトラルデータセットと時空間データセットの2つの指導的なユースケースを実装します。
(i)オフサイトデータ転送
(ii)機械学習/人工知能と従来のデータ分析アプローチ
(iii)実験結果の自動メタデータ抽出とカタログ化。
このインフラストラクチャは期待されるワークロードをサポートし、ドメインサイエンティストが過去の実験からデータを再尋問し、追加の科学的価値と新たな洞察を得ることができる。
関連論文リスト
- Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research [90.91438597133211]
我々は、強化学習の適用において重要なシステムのボトルネックを克服するために設計されたフレームワークであるWarpSciを紹介する。
我々は、CPUとGPU間のデータ転送の必要性を排除し、数千のシミュレーションを同時実行可能にする。
論文 参考訳(メタデータ) (2024-08-01T21:38:09Z) - Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future [130.87142103774752]
このレビューは、70以上のオープンソースの自動運転データセットを体系的に評価する。
高品質なデータセットの作成の基礎となる原則など、さまざまな側面に関する洞察を提供する。
また、解決を保障する科学的、技術的課題も検討している。
論文 参考訳(メタデータ) (2023-12-06T10:46:53Z) - An IoT Cloud and Big Data Architecture for the Maintenance of Home
Appliances [0.0722732388409495]
この作業は分散型でスケーラブルなプラットフォームアーキテクチャを導入し、効率的なビッグデータ収集と分析のためにデプロイすることができる。
提案システムは,家電製品の予測保守のためのケーススタディで検証された。
実験結果から,提案システムは実世界のIoTシナリオに費用対効果と局所的なアプローチで対処する上で有用であることが示された。
論文 参考訳(メタデータ) (2022-10-25T13:25:00Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - The MIT Supercloud Workload Classification Challenge [10.458111248130944]
本稿では,MIT Supercloudデータセットに基づくワークロード分類の課題について述べる。
この課題の目標は、計算ワークロードの分析におけるアルゴリズムのイノベーションを促進することである。
論文 参考訳(メタデータ) (2022-04-12T14:28:04Z) - Deep Reinforcement Learning Assisted Federated Learning Algorithm for
Data Management of IIoT [82.33080550378068]
産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。
IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。
本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
論文 参考訳(メタデータ) (2022-02-03T07:12:36Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Making Invisible Visible: Data-Driven Seismic Inversion with
Physics-Informed Data Augmentation [6.079137591620588]
我々は、畳み込みニューラルネットワークに基づく新しい物理インフォームドデータ拡張技術を開発した。
具体的には、生成モデルは、異なる物理知識(支配方程式、観測可能な知覚、物理現象など)を活用して、合成データの質を向上させる。
物理インフォームドデータ拡張技術を用いることで,データ駆動型地震探査を著しく向上できることを示す。
論文 参考訳(メタデータ) (2021-06-22T15:59:44Z) - Bridge Data Center AI Systems with Edge Computing for Actionable
Information Retrieval [0.5652468989804973]
現代のシンクロトロンおよびX線自由電子レーザーにおける高いデータレートは、データ還元、特徴検出、その他の目的のために機械学習手法の使用を動機付けている。
ここでは、この目的のために、特別なデータセンターAIシステムがどのように使用できるかを説明します。
論文 参考訳(メタデータ) (2021-05-28T16:47:01Z) - Towards an Interpretable Data-driven Trigger System for High-throughput
Physics Facilities [7.939382824995354]
高スループットデータフィルタリングとトリガシステムを設計するための新しいデータ駆動アプローチを紹介します。
私たちの目標は、どのデータイベントを維持するかを決定するために、最小限のランタイムコストでデータ駆動フィルタリングシステムを設計することです。
現在のパラダイムにおける非局所的非効率性を考慮するために、解釈可能な予測モデリングとコストに敏感な学習から重要な洞察を紹介します。
論文 参考訳(メタデータ) (2021-04-14T05:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。