論文の概要: Integrating Deep Learning in Domain Sciences at Exascale
- arxiv url: http://arxiv.org/abs/2011.11188v1
- Date: Mon, 23 Nov 2020 03:09:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 02:47:28.738262
- Title: Integrating Deep Learning in Domain Sciences at Exascale
- Title(参考訳): exascaleでドメインサイエンスにディープラーニングを統合する
- Authors: Rick Archibald, Edmond Chow, Eduardo D'Azevedo, Jack Dongarra, Markus
Eisenbach, Rocco Febbo, Florent Lopez, Daniel Nichols, Stanimire Tomov, Kwai
Wong, and Junqi Yin
- Abstract要約: 我々は,大規模HPCシステム上でディープラーニングモデルとアプリケーションを効率的に動作させるための既存パッケージの評価を行った。
本稿では,現在の大規模異種システムに対する新しい非同期並列化と最適化手法を提案する。
従来の計算集約型アプリケーションとデータ集約型アプリケーションをAIで拡張するための図表と潜在的なソリューションを提案する。
- 参考スコア(独自算出の注目度): 2.241545093375334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents some of the current challenges in designing deep learning
artificial intelligence (AI) and integrating it with traditional
high-performance computing (HPC) simulations. We evaluate existing packages for
their ability to run deep learning models and applications on large-scale HPC
systems efficiently, identify challenges, and propose new asynchronous
parallelization and optimization techniques for current large-scale
heterogeneous systems and upcoming exascale systems. These developments, along
with existing HPC AI software capabilities, have been integrated into MagmaDNN,
an open-source HPC deep learning framework. Many deep learning frameworks are
targeted at data scientists and fall short in providing quality integration
into existing HPC workflows. This paper discusses the necessities of an HPC
deep learning framework and how those needs can be provided (e.g., as in
MagmaDNN) through a deep integration with existing HPC libraries, such as MAGMA
and its modular memory management, MPI, CuBLAS, CuDNN, MKL, and HIP.
Advancements are also illustrated through the use of algorithmic enhancements
in reduced- and mixed-precision, as well as asynchronous optimization methods.
Finally, we present illustrations and potential solutions for enhancing
traditional compute- and data-intensive applications at ORNL and UTK with AI.
The approaches and future challenges are illustrated in materials science,
imaging, and climate applications.
- Abstract(参考訳): 本稿では、ディープラーニング人工知能(AI)を設計し、従来の高性能コンピューティング(HPC)シミュレーションと統合する際の課題について述べる。
既存のパッケージを評価し,大規模hpcシステム上でディープラーニングモデルとアプリケーションを効率的に実行し,課題を特定し,現在の大規模異種システムと今後のexascaleシステムのための新しい非同期並列化と最適化手法を提案する。
これらの開発は、既存のHPC AIソフトウェア機能とともに、オープンソースのHPCディープラーニングフレームワークであるMagmaDNNに統合されている。
多くのディープラーニングフレームワークはデータサイエンティストをターゲットにしており、既存のHPCワークフローに品質統合を提供するには不足している。
本稿では,MPI,CuBLAS,CuDNN,MKL,HIPなどの既存のHPCライブラリとの深い統合を通じて,HPCディープラーニングフレームワークの必要性とニーズ(例えばMagmaDNNなど)について論じる。
また、アルゴリズムによる縮小と混合精度の強化、および非同期最適化手法によっても改善が示される。
最後に、ORNLおよびUTKにおける従来の計算集約型およびデータ集約型アプリケーションをAIで拡張するための図と潜在的なソリューションを示す。
アプローチと今後の課題は、材料科学、イメージング、気候応用で説明される。
関連論文リスト
- Quantum Computing Enhanced Service Ecosystem for Simulation in
Manufacturing [57.497038270123774]
本稿では,製造シミュレーションのための量子コンピューティングによるサービスエコシステムの枠組みを提案する。
我々は,これらの新しい計算パラダイムを定量的に評価することを目的とした2つの高価値ユースケースを分析した。
論文 参考訳(メタデータ) (2024-01-19T11:04:14Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement
Learning Approach [58.911515417156174]
我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。
本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。
また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
論文 参考訳(メタデータ) (2023-12-01T01:30:49Z) - CSM-H-R: A Context Modeling Framework in Supporting Reasoning Automation
for Interoperable Intelligent Systems and Privacy Protection [0.07499722271664144]
ケーススタディは、スマートセッティングのインテリジェントエレベーターシステムに基づいて開発されている。
匿名化はラベル埋め込みによる匿名化と情報相関の低減によって達成される。
論文 参考訳(メタデータ) (2023-08-21T22:21:15Z) - Hyperparameter optimization, quantum-assisted model performance
prediction, and benchmarking of AI-based High Energy Physics workloads using
HPC [0.0]
本研究は,高性能コンピューティングシステムにおいてHPOプロセスを支援するために,モデル性能予測を利用する可能性について検討する。
量子アニールは性能予測器の訓練に用いられ、量子系の現在の限界から生じる問題を克服する手法が提案されている。
衝突イベント再構成のためのAIモデルに基づくコンテナ化されたベンチマークの開発から結果が提示される。
論文 参考訳(メタデータ) (2023-03-27T09:55:33Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳(メタデータ) (2022-12-18T02:03:00Z) - SAIH: A Scalable Evaluation Methodology for Understanding AI Performance
Trend on HPC Systems [18.699431277588637]
本稿では,HPCシステムのAI性能傾向を分析するためのスケーラブルな評価手法(SAIH)を提案する。
データとモデルは絶えずスケールするので、HPCシステムにおけるAIパフォーマンスの傾向と範囲を調べることができる。
論文 参考訳(メタデータ) (2022-12-07T02:42:29Z) - Towards a Dynamic Composability Approach for using Heterogeneous Systems
in Remote Sensing [0.0]
本稿では,科学計算,人工知能(AI),リモートセンシング領域の共通部分において,構成可能なシステムを利用するための新しいアプローチを提案する。
我々は,NSFが出資するスーパーコンピュータであるExpanseを,地理的分散クラスタであるNautilusとフェデレートする,構成可能なインフラストラクチャの最初の実例のアーキテクチャについて述べる。
論文 参考訳(メタデータ) (2022-11-13T14:48:00Z) - AI-coupled HPC Workflows [1.5469452301122175]
従来のHPCにAI/MLモデルを導入することは、非常に正確なモデリングを可能にしてきた。
AI/MLモデルをHPC計算に統合するさまざまなモードにより、さまざまなタイプのAI結合型HPCが生成される。
論文 参考訳(メタデータ) (2022-08-24T19:16:43Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳(メタデータ) (2020-12-25T07:08:50Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。