論文の概要: Scalability Analysis of Distributed Kolmogorov-Arnold Network Training on High-Performance Computing Systems

• arxiv url: http://arxiv.org/abs/2609.07740v1
• Date: Mon, 07 Sep 2026 16:45:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.483715
• Title: Scalability Analysis of Distributed Kolmogorov-Arnold Network Training on High-Performance Computing Systems
• Title（参考訳）: 高性能コンピューティングシステムにおける分散Kolmogorov-Arnoldネットワーク学習のスケーラビリティ解析
• Abstract要約: Kolmogorov-Arnold Networks (KANs) は、MLPの固定活性化関数と線形重みを置き換える 本稿では,マルチノード,マルチGPUハイパフォーマンスコンピューティング基盤におけるデータ並列kanトレーニングの実証的拡張性について述べる。 PyTorch Distributed Data Parallel (DDP)を用いた最大8個のNVIDIA A100 GPUを用いたFinasTerrae IIIスーパーコンピュータの実験を行った。
• 参考スコア（独自算出の注目度）: 0.2730969268472861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) replace the fixed activation functions and linear weights of Multi-Layer Perceptrons (MLPs) with learnable univariate functions on network edges, offering improved interpretability and, in some settings, competitive parameter efficiency. While the approximation properties of KANs have received considerable attention, their behavior under distributed, multi-GPU training has not been systematically characterized. This paper presents an empirical scalability study of data-parallel KAN training on multi-node, multi-GPU high-performance computing (HPC) infrastructure, evaluated along four dimensions: strong scaling, weak scaling, communication overhead, and model-size scaling. Experiments were conducted on the FinisTerrae III supercomputer using up to 8 NVIDIA A100 GPUs across 4 nodes with PyTorch Distributed Data Parallel (DDP). KAN training reaches 74.7% parallel efficiency at 8 GPUs with a 5.97x speedup, consistent with conventional deep learning workloads. Weak scaling shows an initial single-to-multi-GPU throughput drop followed by strong stability. Communication overhead follows a non-monotonic pattern (1.3%-6.1%), driven primarily by All-Reduce algorithm selection and inter-node latency rather than KAN's edge-wise gradient structure. The parameter-to-memory ratio improves with model size even as training time scales unfavorably. These results indicate that operator-level and data-parallel optimizations for KAN are complementary. We provide deployment guidelines for GPU topology and model-size selection, and discuss the limitations of a synthetic-regression evaluation.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KANs) は、Multi-Layer Perceptrons (MLPs) の固定活性化関数と線形重みを、ネットワークエッジ上の学習可能な単変量関数に置き換える。 kanの近似特性は注目されているが、分散マルチGPUトレーニングにおける動作は体系的に特徴付けられていない。 本稿では,マルチノード,マルチGPUハイパフォーマンスコンピューティング(HPC)インフラストラクチャ上でのデータ並列kanトレーニングに関する実証的拡張性について,強いスケーリング,弱いスケーリング,通信オーバーヘッド,モデルサイズスケーリングの4次元で評価した。 実験は、PyTorch Distributed Data Parallel (DDP)を用いて、4ノードにわたる最大8つのNVIDIA A100 GPUを使用して、FinasTerrae IIIスーパーコンピュータ上で実施された。 Kanトレーニングは8GPUで74.7%の並列効率に達し、5.97倍のスピードアップを実現し、従来のディープラーニングワークロードと一致している。 弱スケーリングは、最初のシングルツーマルチGPUスループットの低下と、強い安定性を示している。 通信オーバヘッドは非モノトニックパターン (1.3%-6.1%) に従っており、主にKanのエッジワイド勾配構造ではなく、All-Reduceアルゴリズムの選択とノード間レイテンシによって駆動される。 パラメータとメモリの比率は、トレーニング時間が好ましくないスケールであっても、モデルのサイズによって改善される。 これらの結果は,演算子レベルとデータ並列最適化が相補的であることを示している。 我々は,GPUトポロジとモデルサイズ選択のデプロイメントガイドラインを提供し,合成回帰評価の限界について議論する。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD [91.71050339479261]
  本稿では,Ascend NPU SuperPODにおけるエンドツーエンド最適化手法を提案する。 モデルレベルの並列性、計算通信オーケストレーション、低レベルのカーネル実行にまたがる階層的最適化フレームワークを開発した。 その結果、34.22%のモデルFLOP(Model FLOP)利用が達成され、オープンソースのベースラインレシピよりも2.93倍改善された。
  論文  参考訳（メタデータ） (2026-07-22T13:49:17Z)
• Efficient Hybrid CNN-GNN Architecture for Monocular Depth Estimation [0.0]
  畳み込みエンコーダ・デコーダフレームワークにグラフニューラルネットワーク(GNN)を統合する単眼深度推定アーキテクチャであるGraphDepthを提案する。 我々のアプローチは、効率的なGraphSAGEレイヤをResNet-101 U-Netバックボーンの複数スケールに埋め込む。 NYU Depth V2、WHU Aerial、ETH3D、Mid-Airベンチマークの実験では、最先端のトランスフォーマーの4.6%で競合精度が示されている。
  論文  参考訳（メタデータ） (2026-05-11T09:21:04Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• A Distributed Data-Parallel PyTorch Implementation of the Distributed Shampoo Optimizer for Training Neural Networks At-Scale [5.206015354543744]
  Shampooは、ニューラルネットワークをトレーニングするためのAdaGradファミリーに属するオンラインおよび最適化アルゴリズムである。 我々は、PyTorchのディープネットワークを大規模にトレーニングするために実装したアルゴリズムと性能最適化の完全な記述を提供する。
  論文  参考訳（メタデータ） (2023-09-12T18:11:10Z)
• A 4D Hybrid Algorithm to Scale Parallel Training to Thousands of GPUs [1.7481226034111275]
  本稿では,並列訓練における通信を最適化するための4次元(4次元)アプローチを提案する。 AxoNNは最先端のフレームワークであるMegatron-LMを26%上回っている。 理論上のピークFLOP/sの57%、合計182 PFLOP/sを達成している。
  論文  参考訳（メタデータ） (2023-05-22T22:41:49Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• An Oracle for Guiding Large-Scale Model/Hybrid Parallel Training of Convolutional Neural Networks [0.3653697742557465]
  我々は畳み込みニューラルネットワーク(CNN)の計算・通信・メモリ要件を分析する。 私たちのモデル駆動分析は、異なる並列性アプローチの制限やボトルネックを大規模に検出するのに役立つ、オラクルユーティリティの基礎となります。
  論文  参考訳（メタデータ） (2021-04-19T06:45:51Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。