論文の概要: In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD

• arxiv url: http://arxiv.org/abs/2306.12900v1
• Date: Thu, 22 Jun 2023 14:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 14:27:14.315766
• Title: In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD
• Title（参考訳）: シミュレーションと機械学習を結合するin situフレームワークとcfdへの応用
• Authors: Riccardo Balin and Filippo Simini and Cooper Simpson and Andrew Shao and Alessandro Rigazzi and Matthew Ellis and Stephen Becker and Alireza Doostan and John A. Evans and Kenneth E. Jansen
• Abstract要約: 近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
• 参考スコア（独自算出の注目度）: 51.04126395480625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen many successful applications of machine learning (ML) to facilitate fluid dynamic computations. As simulations grow, generating new training datasets for traditional offline learning creates I/O and storage bottlenecks. Additionally, performing inference at runtime requires non-trivial coupling of ML framework libraries with simulation codes. This work offers a solution to both limitations by simplifying this coupling and enabling in situ training and inference workflows on heterogeneous clusters. Leveraging SmartSim, the presented framework deploys a database to store data and ML models in memory, thus circumventing the file system. On the Polaris supercomputer, we demonstrate perfect scaling efficiency to the full machine size of the data transfer and inference costs thanks to a novel co-located deployment of the database. Moreover, we train an autoencoder in situ from a turbulent flow simulation, showing that the framework overhead is negligible relative to a solver time step and training epoch.
• Abstract（参考訳）: 近年、流体力学計算を容易にする機械学習(ml)の多くの応用が成功している。 シミュレーションが成長するにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、i/oとストレージのボトルネックを生み出します。 さらに、実行時に推論を実行するには、シミュレーションコードとMLフレームワークライブラリを非自明に結合する必要がある。 この作業は、この結合を単純化し、異種クラスタ上でのインプレイストレーニングと推論ワークフローを可能にすることにより、両方の制限に対するソリューションを提供する。 smartsimを活用することで、提示されたフレームワークはデータベースをデプロイして、データとmlモデルをメモリに格納する。 ポーラリススーパーコンピュータ上では,データ転送と推論コストの全マシンサイズに対して,データベースの新たな配置により,完全なスケーリング効率を示す。 さらに、乱流シミュレーションからオートエンコーダをトレーニングし、このフレームワークのオーバーヘッドがソルバ時間ステップとトレーニングエポックと比較して無視可能であることを示す。

関連論文リスト

• Combining Machine Learning with Computational Fluid Dynamics using OpenFOAM and SmartSim [39.58317527488534]
  OpenFOAMとSmartSimを使ってCFD+MLアルゴリズムを開発するための効果的でスケーラブルなソリューションを提供する。 SmartSimはCFD+MLアルゴリズムとRedisデータベースのプログラミングを大幅に単純化するOrchestratorを提供する。 我々はSmartSimを利用してOpenFOAMのさまざまなセグメントをMLに効果的に結合する方法を示し、これにはプリ/ポスト処理アプリケーション、ソルバ、関数オブジェクト、メッシュモーションソルバが含まれる。
  論文  参考訳（メタデータ） (2024-02-25T20:39:44Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Federated Learning for Hybrid Beamforming in mm-Wave Massive MIMO [12.487990897680422]
  本稿では,ハイブリッドビームフォーミングのためのFL(Federated Learning)ベースのフレームワークを紹介し,ベースステーションでモデルトレーニングを行う。 我々は、入力がチャネルデータである畳み込みニューラルネットワークを設計し、出力時にアナログビームフォーマを出力する。 FLは、チャネルデータの不完全性や破損に対してより寛容であり、CMLよりも透過オーバーヘッドが少ないことが示されている。
  論文  参考訳（メタデータ） (2020-05-20T11:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。