論文の概要: Exploring Techniques for the Analysis of Spontaneous Asynchronicity in
MPI-Parallel Applications
- arxiv url: http://arxiv.org/abs/2205.13963v1
- Date: Fri, 27 May 2022 13:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 15:19:04.990925
- Title: Exploring Techniques for the Analysis of Spontaneous Asynchronicity in
MPI-Parallel Applications
- Title（参考訳）: MPI-Parallel 応用における自発非同期性解析のための探索手法
- Authors: Ayesha Afzal, Georg Hager, Gerhard Wellein, Stefano Markidis
- Abstract要約: マイクロベンチマークと現実的なプロキシアプリケーションを,2つの異なるスーパーコンピュータプラットフォーム上で通常の計算通信構造で実行します。
完全MPIトレースよりもはるかに小さいデータセットから,デシンクロナイゼーションパターンを容易に識別できることを示す。
- 参考スコア（独自算出の注目度）: 0.8889304968879161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the utility of using data analytics and machine learning
techniques for identifying, classifying, and characterizing the dynamics of
large-scale parallel (MPI) programs. To this end, we run microbenchmarks and
realistic proxy applications with the regular compute-communicate structure on
two different supercomputing platforms and choose the per-process performance
and MPI time per time step as relevant observables. Using principal component
analysis, clustering techniques, correlation functions, and a new "phase space
plot," we show how desynchronization patterns (or lack thereof) can be readily
identified from a data set that is much smaller than a full MPI trace. Our
methods also lead the way towards a more general classification of parallel
program dynamics.
- Abstract（参考訳）: 本稿では,大規模並列(mpi)プログラムのダイナミクスを識別,分類,特徴付けするために,データ分析と機械学習技術を用いた手法の有用性について検討する。
この目的のために、我々は2つの異なるスーパーコンピュータプラットフォーム上で、通常の計算通信構造を持つマイクロベンチマークとリアルプロキシアプリケーションを実行し、関連する観測対象として、プロセス毎のパフォーマンスとMPI時間を選択する。
主成分分析,クラスタリング手法,相関関数,および新たな「位相空間プロット」を用いて,完全MPIトレースよりもはるかに小さいデータセットからデシンクロナイゼーションパターン(あるいはその欠如)を容易に識別できることを示す。
また,本手法は並列プログラム力学のより一般的な分類へと導く。
関連論文リスト
- Accelerating Point Cloud Ground Segmentation: From Mechanical to Solid-State Lidars [6.0753266069240235]
まず、点ベース、グリッドベース、範囲画像ベースグラウンドセグメンテーションアルゴリズムをベンチマークする。
以上の結果から,レンジ画像に基づく手法は優れた性能とロバスト性をもたらすことが示唆された。
提案したアルゴリズムをFPGA上で実装することにより,処理速度と資源使用量のスケーラビリティが大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-08-19T20:39:21Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - Physics-informed and Unsupervised Riemannian Domain Adaptation for Machine Learning on Heterogeneous EEG Datasets [53.367212596352324]
脳波信号物理を利用した教師なし手法を提案する。
脳波チャンネルをフィールド、ソースフリーなドメイン適応を用いて固定位置にマッピングする。
提案手法は脳-コンピュータインタフェース(BCI)タスクおよび潜在的なバイオマーカー応用におけるロバストな性能を示す。
論文 参考訳（メタデータ） (2024-03-07T16:17:33Z) - KPIs-Based Clustering and Visualization of HPC jobs: a Feature Reduction
Approach [0.0]
HPCシステムは、安定性を確保するために常に監視される必要がある。
監視システムは、リソース使用量やIO待ち時間など、さまざまなパラメータやキーパフォーマンス指標(KPI)に関する膨大なデータを収集します。
通常時系列として保存されるこのデータの適切な分析は、適切な管理戦略の選択と問題の早期検出に関する洞察を与えることができる。
論文 参考訳（メタデータ） (2023-12-11T17:13:54Z) - Learning to Parallelize with OpenMP by Augmented Heterogeneous AST
Representation [7.750212995537728]
コードに異質な拡張抽象構文木(Augmented-AST)表現を利用するグラフベースの新しい学習手法Graph2Parを提案する。
我々は18598並列化可能なOMP_Serialデータセットと13972非並列化可能なループを作成し、機械学習モデルをトレーニングする。
提案手法は,85%の精度で並列化可能なコード領域検出の精度を実現し,最先端のトークンベース機械学習手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-09T21:57:15Z) - Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR [1.2507285499419876]
本稿では,多くのモデルアーキテクチャとアクセラレータシステムのための効率的な組み合わせを同定する自動分割器を提案する。
我々の重要な発見は、Monte Carlo Tree Searchベースのパーティショナがパーティショニング固有のコンパイラ分析を直接利用し、ガイドされたゴールは、様々なモデルのエキスパートレベルの戦略と一致することである。
論文 参考訳（メタデータ） (2022-10-07T17:46:46Z) - Evaluating natural language processing models with generalization
metrics that do not need access to any training or testing data [66.11139091362078]
本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。
ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
論文 参考訳（メタデータ） (2022-02-06T20:07:35Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - MLPerfTM HPC: A Holistic Benchmark Suite for Scientific Machine Learning
on HPC Systems [32.621917787044396]
我々はMLCommonsTM Associationが推進する科学機械学習トレーニングアプリケーションのベンチマークスイートであるHPCを紹介する。
共同分析のための体系的なフレームワークを開発し、データステージング、アルゴリズム収束、計算性能の観点から比較する。
低レベルのメモリ、I/O、ネットワークの振る舞いに関して、各ベンチマークを特徴付けることで結論付ける。
論文 参考訳（メタデータ） (2021-10-21T20:30:12Z) - Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。
隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。
我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
論文 参考訳（メタデータ） (2021-07-28T03:57:12Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。