論文の概要: The Artificial Scientist -- in-transit Machine Learning of Plasma Simulations

• arxiv url: http://arxiv.org/abs/2501.03383v2
• Date: Wed, 15 Jan 2025 19:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 21:49:14.117014
• Title: The Artificial Scientist -- in-transit Machine Learning of Plasma Simulations
• Title（参考訳）: プラズマシミュレーションのIn-transit Machine Learning
• Authors: Jeffrey Kelling, Vicente Bolea, Michael Bussmann, Ankush Checkervarty, Alexander Debus, Jan Ebert, Greg Eisenhauer, Vineeth Gutta, Stefan Kesselheim, Scott Klasky, Richard Pausch, Norbert Podhorszki, Franz Poschel, David Rogers, Jeyhun Rustamov, Steve Schmerler, Ulrich Schramm, Klaus Steiniger, Rene Widera, Anna Willmann, Sunita Chandrasekaran,
• Abstract要約: シミュレーションデータを機械学習(ML)フレームワークに直接ストリーミングするストリーミングワークフローを実演する。 提示されたワークフローでは、データ操作は共通で使いやすいプログラミング言語で実行できる。
• 参考スコア（独自算出の注目度）: 33.024345484180024
• License:
• Abstract: Increasing HPC cluster sizes and large-scale simulations that produce petabytes of data per run, create massive IO and storage challenges for analysis. Deep learning-based techniques, in particular, make use of these amounts of domain data to extract patterns that help build scientific understanding. Here, we demonstrate a streaming workflow in which simulation data is streamed directly to a machine-learning (ML) framework, circumventing the file system bottleneck. Data is transformed in transit, asynchronously to the simulation and the training of the model. With the presented workflow, data operations can be performed in common and easy-to-use programming languages, freeing the application user from adapting the application output routines. As a proof-of-concept we consider a GPU accelerated particle-in-cell (PIConGPU) simulation of the Kelvin- Helmholtz instability (KHI). We employ experience replay to avoid catastrophic forgetting in learning from this non-steady process in a continual manner. We detail challenges addressed while porting and scaling to Frontier exascale system.
• Abstract（参考訳）: HPCクラスタサイズの増加と、実行毎にペタバイト単位のデータを生成する大規模なシミュレーションにより、分析のための大規模なIOとストレージの課題が生まれる。 特にディープラーニングベースの技術は、これらの膨大なドメインデータを利用して、科学的理解を構築するのに役立つパターンを抽出する。 本稿では,シミュレーションデータを機械学習(ML)フレームワークに直接ストリームし,ファイルシステムのボトルネックを回避するストリーミングワークフローを実演する。 データは、モデルのシミュレーションとトレーニングに非同期に、トランジットで変換される。 提示されたワークフローでは、データ操作が共通で使いやすいプログラミング言語で実行され、アプリケーションユーザがアプリケーションの出力ルーチンに適応できなくなる。 概念実証として、ケルビン・ヘルムホルツ不安定性(KHI)のGPU加速粒子インセルシミュレーション(PIConGPU)を考える。 我々は、この非定常プロセスから継続的に学習する際の破滅的な忘れを避けるために、経験的リプレイを採用しています。 Frontier Exascaleシステムへの移植とスケーリングの際の課題について詳述する。

関連論文リスト

• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Reduced Simulations for High-Energy Physics, a Middle Ground for Data-Driven Physics Research [0.0]
  サブ原子粒子軌道再構成は高エネルギー物理実験において重要な課題である。 我々は,複雑性低減型検出器モデルとしてREDVID(REDuced VIrtual Detector)と粒子衝突イベントシミュレータコンボを提供する。
  論文  参考訳（メタデータ） (2023-08-30T12:50:45Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Lamarr: LHCb ultra-fast simulation based on machine learning models deployed within Gauss [0.0]
  LHCb実験における検出器応答と再構成アルゴリズムの両方をパラメータ化するシミュレーション生成を高速化するフレームワークであるLamarrについて論じる。 複数のアルゴリズムと戦略を駆使した深部生成モデルを用いて、LHCb検出器の単一成分の高レベル応答を効果的にパラメータ化する。
  論文  参考訳（メタデータ） (2023-03-20T20:18:04Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• PREPRINT: Comparison of deep learning and hand crafted features for mining simulation data [7.214140640112874]
  本稿では,高次元データセットから有意な結果を自動抽出する作業について述べる。 このようなデータを処理することができる深層学習手法を提案し、シミュレーションデータに関する関連するタスクを解決するように訓練することができる。 16,000フローフィールドを含む翼まわりの流れ場の2次元シミュレーションの大規模なデータセットをコンパイルし,比較を行った。
  論文  参考訳（メタデータ） (2021-03-11T09:28:00Z)
• Machine learning for rapid discovery of laminar flow channel wall modifications that enhance heat transfer [56.34005280792013]
  任意の, 平坦な, 非平坦なチャネルの正確な数値シミュレーションと, ドラッグ係数とスタントン数を予測する機械学習モデルを組み合わせる。 畳み込みニューラルネットワーク(CNN)は,数値シミュレーションのわずかな時間で,目標特性を正確に予測できることを示す。
  論文  参考訳（メタデータ） (2021-01-19T16:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。