論文の概要: PCLVis: Visual Analytics of Process Communication Latency in Large-Scale Simulation
- arxiv url: http://arxiv.org/abs/2506.23257v1
- Date: Sun, 29 Jun 2025 14:28:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.791167
- Title: PCLVis: Visual Analytics of Process Communication Latency in Large-Scale Simulation
- Title（参考訳）: PCLVis:大規模シミュレーションにおけるプロセス通信レイテンシのビジュアル分析
- Authors: Chongke Bi, Xin Gao, Baofeng Fu, Yuheng Zhao, Siming Chen, Ying Zhao, Yunhai Wang,
- Abstract要約: 本稿では,プロセス通信遅延(PCL)イベントの解析を支援するPCLVisというフレームワークを提案する。
物理リンク層情報の代わりに、PCLVisは解析にMPIプロセス通信データを使用する。
PCLVisフレームワークの有効性は、TH-1Aスーパーコンピュータ上で実行されるいくつかのシミュレーションのPCLイベントを分析することで実証される。
- 参考スコア（独自算出の注目度）: 20.459706698509727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale simulations on supercomputers have become important tools for users. However, their scalability remains a problem due to the huge communication cost among parallel processes. Most of the existing communication latency analysis methods rely on the physical link layer information, which is only available to administrators. In this paper, a framework called PCLVis is proposed to help general users analyze process communication latency (PCL) events. Instead of the physical link layer information, the PCLVis uses the MPI process communication data for the analysis. First, a spatial PCL event locating method is developed. All processes with high correlation are classified into a single cluster by constructing a process-correlation tree. Second, the propagation path of PCL events is analyzed by constructing a communication-dependency-based directed acyclic graph (DAG), which can help users interactively explore a PCL event from the temporal evolution of a located PCL event cluster. In this graph, a sliding window algorithm is designed to generate the PCL events abstraction. Meanwhile, a new glyph called the communication state glyph (CS-Glyph) is designed for each process to show its communication states, including its in/out messages and load balance. Each leaf node can be further unfolded to view additional information. Third, a PCL event attribution strategy is formulated to help users optimize their simulations. The effectiveness of the PCLVis framework is demonstrated by analyzing the PCL events of several simulations running on the TH-1A supercomputer. By using the proposed framework, users can greatly improve the efficiency of their simulations.
- Abstract（参考訳）: スーパーコンピュータの大規模シミュレーションは,ユーザにとって重要なツールとなっている。
しかし、並列プロセス間の通信コストが大きいため、そのスケーラビリティは依然として問題である。
既存の通信遅延分析手法のほとんどは、管理者のみが利用できる物理リンク層情報に依存している。
本稿では,プロセス通信遅延(PCL)イベントの一般ユーザ分析を支援するため,PCLVisというフレームワークを提案する。
物理リンク層情報の代わりに、PCLVisは解析にMPIプロセス通信データを使用する。
まず,空間的PCLイベント位置決め手法を開発した。
相関性が高い全てのプロセスは、プロセス相関木を構築することによって単一のクラスタに分類される。
第2に,PCLイベントの伝搬経路を通信依存性に基づく有向非巡回グラフ(DAG)の構築により解析し,PCLイベントクラスタの時間的進化からPCLイベントを対話的に探索する。
このグラフでは、PCLイベントの抽象化を生成するためにスライディングウインドウアルゴリズムが設計されている。
一方、通信状態グリフ(CS-Glyph)と呼ばれる新しいグリフは、各プロセスに対して、イン/アウトメッセージやロードバランスを含む通信状態を示すように設計されている。
各葉ノードは、追加情報を見るためにさらに展開することができる。
第3に,PCLイベント帰属戦略を定式化し,シミュレーションの最適化を支援する。
PCLVisフレームワークの有効性は、TH-1Aスーパーコンピュータ上で動作する複数のシミュレーションのPCLイベントを解析することによって実証される。
提案フレームワークを使用することで,シミュレーションの効率を大幅に向上させることができる。
関連論文リスト
- Connecting Large Language Model Agent to High Performance Computing Resource [39.370841294724045]
大規模言語モデルエージェントワークフローにより、LLMはツール関数を実行して、特定の科学的領域の質問のパフォーマンスを向上させることができる。
大規模な科学研究に取り組むためには、計算資源へのアクセスと並列コンピューティングのセットアップが必要である。
我々はLangChain/LangGraphツールコール設定にParslを実装し、LLMエージェントとコンピューティングリソースのギャップを埋める。
論文 参考訳（メタデータ） (2025-02-17T19:32:30Z) - Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。
対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。
我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文 参考訳（メタデータ） (2025-02-03T18:35:42Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - RLIPv2: Fast Scaling of Relational Language-Image Pre-training [53.21796397618875]
本稿では,大規模な擬似ラベル付きシーングラフデータに対する事前学習のリレーショナルスケーリングを可能にする高速収束モデルRLIPv2を提案する。
非対称言語画像融合 (ALIF) は、より早く、より深く分岐したクロスモーダル融合と、スパシファイド言語による符号化を容易にする。
RLIPv2は、3つのベンチマークで、完全な微調整、少数ショット、ゼロショット設定で、最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-08-18T07:17:09Z) - Communication-Efficient Graph Neural Networks with Probabilistic
Neighborhood Expansion Analysis and Caching [59.8522166385372]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。
本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。
分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
論文 参考訳（メタデータ） (2023-05-04T21:04:01Z) - ParaGraph: Weighted Graph Representation for Performance Optimization of
HPC Kernels [1.304892050913381]
抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。
提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。
その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
論文 参考訳（メタデータ） (2023-04-07T05:52:59Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Exploring Techniques for the Analysis of Spontaneous Asynchronicity in
MPI-Parallel Applications [0.8889304968879161]
マイクロベンチマークと現実的なプロキシアプリケーションを,2つの異なるスーパーコンピュータプラットフォーム上で通常の計算通信構造で実行します。
完全MPIトレースよりもはるかに小さいデータセットから,デシンクロナイゼーションパターンを容易に識別できることを示す。
論文 参考訳（メタデータ） (2022-05-27T13:19:07Z) - A Graph Deep Learning Framework for High-Level Synthesis Design Space
Exploration [11.154086943903696]
High-Level Synthesisは、アプリケーション固有の高速プロトタイピングのためのソリューションである。
本稿では,加速性能とハードウェアコストを共同で予測するグラフニューラルネットワークHLSを提案する。
提案手法は,一般的なシミュレータと同等の精度で予測できることを示す。
論文 参考訳（メタデータ） (2021-11-29T18:17:45Z) - Privacy Amplification by Decentralization [0.0]
我々は,完全分散プロトコルに自然発生する,新たなldp(local differential privacy)緩和を提案する。
本研究では,トークンがネットワークグラフ上でウォークを実行し,受信者によって順次更新される分散計算モデルについて検討する。
アルゴリズムのプライバシとユーティリティのトレードオフがLDPを大幅に改善し、信頼/安全アグリゲーションとシャッフルに基づく方法で達成できるものと一致していることを証明しています。
論文 参考訳（メタデータ） (2020-12-09T21:33:33Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳（メタデータ） (2020-04-13T23:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。