論文の概要: PAL -- Parallel active learning for machine-learned potentials

• arxiv url: http://arxiv.org/abs/2412.00401v1
• Date: Sat, 30 Nov 2024 08:49:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:40:40.520132
• Title: PAL -- Parallel active learning for machine-learned potentials
• Title（参考訳）: PAL -- マシン学習のための並列アクティブラーニング
• Authors: Chen Zhou, Marlen Neubert, Yuri Koide, Yumeng Zhang, Van-Quan Vuong, Tobias Schlöder, Stefanie Dehnen, Pascal Friederich,
• Abstract要約: PALは、ALタスクを統合し、共有メモリおよび分散メモリシステム上での実行と通信を管理する。 PALは計算オーバーヘッドを大幅に削減し、スケーラビリティを向上し、CPUとGPUハードウェアの非同期並列化による大幅なスピードアップを実現している。 この結果から,PALは能動的学習における高性能コンピューティング資源の効率的な活用を可能にし,科学研究・工学応用の進歩を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 2.787885218564319
• License:
• Abstract: Constructing datasets representative of the target domain is essential for training effective machine learning models. Active learning (AL) is a promising method that iteratively extends training data to enhance model performance while minimizing data acquisition costs. However, current AL workflows often require human intervention and lack parallelism, leading to inefficiencies and underutilization of modern computational resources. In this work, we introduce PAL, an automated, modular, and parallel active learning library that integrates AL tasks and manages their execution and communication on shared- and distributed-memory systems using the Message Passing Interface (MPI). PAL provides users with the flexibility to design and customize all components of their active learning scenarios, including machine learning models with uncertainty estimation, oracles for ground truth labeling, and strategies for exploring the target space. We demonstrate that PAL significantly reduces computational overhead and improves scalability, achieving substantial speed-ups through asynchronous parallelization on CPU and GPU hardware. Applications of PAL to several real-world scenarios - including ground-state reactions in biomolecular systems, excited-state dynamics of molecules, simulations of inorganic clusters, and thermo-fluid dynamics - illustrate its effectiveness in accelerating the development of machine learning models. Our results show that PAL enables efficient utilization of high-performance computing resources in active learning workflows, fostering advancements in scientific research and engineering applications.
• Abstract（参考訳）: ターゲットドメインを表すデータセットの構築は、効果的な機械学習モデルのトレーニングに不可欠である。 アクティブラーニング(AL)は、データ取得コストを最小化しつつ、トレーニングデータを反復的に拡張してモデル性能を向上させる、有望な手法である。 しかし、現在のALワークフローは、しばしば人間の介入を必要とし、並列性を欠いているため、現代の計算資源の非効率性と未利用につながる。 本研究では,ALタスクを統合し,MPI(Message Passing Interface)を用いた共有および分散メモリシステム上での実行と通信を管理する,自動,モジュール型,並列型の能動学習ライブラリであるPALを紹介する。 PALは、不確実性推定を備えたマシンラーニングモデルや、真実のラベル付けのためのオーラクル、ターゲット空間を探索する戦略など、アクティブな学習シナリオのすべてのコンポーネントを設計およびカスタマイズする柔軟性を提供する。 我々は,PALが計算オーバーヘッドを大幅に削減し,スケーラビリティを向上し,CPUおよびGPUハードウェア上での非同期並列化による大幅な高速化を実現することを実証した。 バイオ分子系の基底状態反応、分子の励起状態ダイナミクス、無機クラスターのシミュレーション、熱流体力学など、いくつかの実世界のシナリオへのPALの適用は、機械学習モデルの開発を加速させる効果を示している。 この結果から,PALは,能動的学習ワークフローにおける高性能計算機資源の効率的な活用を可能にし,科学研究・工学応用の進歩を促進することが示唆された。

関連論文リスト

• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Multimodal Deep Learning for Low-Resource Settings: A Vector Embedding Alignment Approach for Healthcare Applications [3.2549142515720044]
  ベクトル埋め込みを利用して、柔軟で効率的な計算手法を実現することを提唱する。 本稿では,単一モード基礎モデルと多モード視覚言語モデルを用いたベクトル埋め込みの有効性について検討する。 画像テキストの埋め込みを整列させることにより性能を向上させるための,単純かつ効果的な推論時間法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T01:13:01Z)
• Deep Learning Inference on Heterogeneous Mobile Processors: Potentials and Pitfalls [22.49750818224266]
  リアルタイムなインテリジェントなアプリケーションのために、リソース制約のあるモバイルデバイスに計算集約型ディープラーニング(DL)モデルをデプロイする需要が高まっている。 モバイルデバイスは、異種プロセッサ間の並列実行を通じてDL推論を加速する可能性を秘めている。 本稿では、異種モバイルプロセッサ上での並列DL推論に関連する機能と課題を評価するための総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-05-03T04:47:23Z)
• An effective and efficient green federated learning method for one-layer neural networks [0.22499166814992436]
  フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。 本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。 本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
  論文  参考訳（メタデータ） (2023-12-22T08:52:08Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
  本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。 その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T14:16:16Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。