論文の概要: Metadata practices for simulation workflows
- arxiv url: http://arxiv.org/abs/2408.17309v1
- Date: Fri, 30 Aug 2024 14:12:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 16:53:46.141749
- Title: Metadata practices for simulation workflows
- Title（参考訳）: シミュレーションワークフローのためのメタデータの実践
- Authors: Jose Villamar, Matthias Kelbling, Heather L. More, Michael Denker, Tom Tetzlaff, Johanna Senk, Stephan Thober,
- Abstract要約: 本稿では,ソフトウェアやハードウェアに依存しないメタデータの取得と処理に関する一般的な実践について述べる。
1) メタデータを記録、保存し、2) メタデータを選択し、構造化する。
概念実証として、我々は第2段階を支援するPythonツールであるArchivistを開発し、それを用いて、神経科学や水文学とは異なる高性能なユースケースに私たちのプラクティスを適用します。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Computer simulations are an essential pillar of knowledge generation in science. Understanding, reproducing, and exploring the results of simulations relies on tracking and organizing metadata describing numerical experiments. However, the models used to understand real-world systems, and the computational machinery required to simulate them, are typically complex, and produce large amounts of heterogeneous metadata. Here, we present general practices for acquiring and handling metadata that are agnostic to software and hardware, and highly flexible for the user. These consist of two steps: 1) recording and storing raw metadata, and 2) selecting and structuring metadata. As a proof of concept, we develop the Archivist, a Python tool to help with the second step, and use it to apply our practices to distinct high-performance computing use cases from neuroscience and hydrology. Our practices and the Archivist can readily be applied to existing workflows without the need for substantial restructuring. They support sustainable numerical workflows, facilitating reproducibility and data reuse in generic simulation-based research.
- Abstract（参考訳）: 計算機シミュレーションは科学における知識生成の重要な柱である。
シミュレーションの結果を理解し、再現し、探索することは、数値実験を記述するメタデータの追跡と整理に依存する。
しかし、実世界のシステムを理解するために使用されるモデルやそれらをシミュレートするために必要な計算機械は通常複雑であり、大量の異種メタデータを生成する。
本稿では,ソフトウェアやハードウェアに依存しないメタデータの取得と処理に関する一般的な実践について述べる。
これらは2つのステップから構成される。
1)生メタデータを記録保存し、
2)メタデータの選択と構造化。
概念実証として、我々は第2段階を支援するPythonツールであるArchivistを開発し、それを使用して、神経科学や水文学とは異なる高性能コンピューティングユースケースに私たちのプラクティスを適用します。
私たちのプラクティスとアーキビストは、実質的な再構築を必要とせずに、既存のワークフローに簡単に適用できます。
それらは持続可能な数値ワークフローをサポートし、一般的なシミュレーションベースの研究で再現性とデータの再利用を容易にする。
関連論文リスト
- Improving Radiography Machine Learning Workflows via Metadata Management for Training Data Selection [0.0]
物理科学では、科学研究サイクルによって生成されるメタデータのプールが永遠に増え続ける。
このメタデータを追跡することで、余分な作業の削減、改善、フィーチャーとトレーニングデータセットエンジニアリングプロセスの支援が可能になる。
動的ラジオグラフィーにおける機械学習メタデータ管理のためのツールを提案する。
論文 参考訳（メタデータ） (2024-08-22T18:01:21Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - Simulation-Based Parallel Training [55.41644538483948]
このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。
トレーニングプロセスと並行してデータを生成する。
このバイアスをメモリバッファで軽減する戦略を提案する。
論文 参考訳（メタデータ） (2022-11-08T09:31:25Z) - Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。
本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文 参考訳（メタデータ） (2022-09-05T16:48:34Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Synthetic Benchmarks for Scientific Research in Explainable Machine
Learning [14.172740234933215]
我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。
実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。
いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
論文 参考訳（メタデータ） (2021-06-23T17:10:21Z) - Probabilistic Active Meta-Learning [15.432006404678981]
先行経験に基づくタスク選択をメタ学習アルゴリズムに導入する。
シミュレーションロボット実験の強いベースラインと比較して,本手法がデータ効率を向上させるという実証的証拠を提供する。
論文 参考訳（メタデータ） (2020-07-17T12:51:42Z) - PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms [4.060731229044571]
大規模AIシステムのためのトレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
独立して独立したイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
論文 参考訳（メタデータ） (2020-06-22T19:55:37Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。