論文の概要: ShardTensor: Domain Parallelism for Scientific Machine Learning

• arxiv url: http://arxiv.org/abs/2605.11111v1
• Date: Mon, 11 May 2026 18:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.350851
• Title: ShardTensor: Domain Parallelism for Scientific Machine Learning
• Title（参考訳）: ShardTensor: 科学機械学習のためのドメイン並列処理
• Authors: Corey Adams, Peter Harrington, Akshay Subramaniam, Mohammad Shoaib Abbas, Jaideep Pathak, Mike Pritchard, Sanjay Choudhry,
• Abstract要約: ShardTensorは、任意のサイズの入力データの柔軟なスケーリングを可能にする、ドメイン並列性の新しいパラダイムである。 ハードウェア制約から入力データの空間的次元を分離することにより、ShardTensorは、科学的な機械学習ワークロードを、高度な忠実度トレーニングと推論の新たなレベルに到達することを可能にする。
• 参考スコア（独自算出の注目度）: 1.1632009166525459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific Machine Learning (SciML) faces unique challenges for extreme-resolution data, with mitigations that often fail to scale or degrade the accuracy of trained models. While some specialized methods have achieved remarkable results in training models or performing inference on massive spatial datasets with bespoke techniques, there is no generalized framework for parallelization over input data below batch size one per device. In this work we introduce ShardTensor: a novel paradigm of domain parallelism that enables flexible scaling of input data to arbitrary sizes. By decoupling the spatial dimensionality of input data from hardware constraints, ShardTensor enables scientific machine learning workloads to reach new levels of high fidelity training and inference. We demonstrate both strong and weak scaling of workloads during training and inference, showing improved latency with strong scaling and demonstrating the capacity to process higher data sizes with weak scaling. Additionally, we demonstrate multiple dimensions of parallelization, removing barriers to SciML on extreme-scale inputs.
• Abstract（参考訳）: 科学機械学習(SciML)は、極度解像度のデータに対して、トレーニングされたモデルの精度をスケールまたは低下させることがしばしば失敗する緩和によって、ユニークな課題に直面している。 いくつかの専門的な手法は、トレーニングモデルや、大規模な空間データセットに対するベスポーク手法による推論において顕著な成果を上げてきたが、デバイス毎のバッチサイズ以下での入力データの並列化のための一般化されたフレームワークは存在しない。 本稿では、任意のサイズの入力データの柔軟なスケーリングを可能にする、ドメイン並列性の新しいパラダイムであるShardTensorを紹介します。 ハードウェア制約から入力データの空間的次元を分離することにより、ShardTensorは、科学的な機械学習ワークロードを、高度な忠実度トレーニングと推論の新たなレベルに到達することを可能にする。 トレーニングと推論中のワークロードの強いスケーリングと弱いスケーリングの両方を示し、強いスケーリングによるレイテンシの改善と、低いスケーリングでより高いデータサイズを処理する能力を示しています。 さらに、並列化の複数の次元を実証し、超大規模入力におけるSciMLの障壁を取り除く。

関連論文リスト

• Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training [9.47829333855806]
  ディープラーニングレコメンデーションモデル(DLRM)では、スパース埋め込みテーブルはスパースカテゴリの特徴を管理する重要なコンポーネントである。 本稿では,スケーラビリティの課題を克服する新しい2次元スパース並列化手法を提案する。 提案手法は,モデル性能の同等性を保ちながら,トレーニング効率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-05T19:12:18Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• h-analysis and data-parallel physics-informed neural networks [0.7614628596146599]
  物理インフォームドニューラルネットワーク(PINN)に着目した機械学習スキームのデータ並列高速化について検討する。 我々はHorovodトレーニングフレームワークを通じて、$h$-analysisとデータ並列アクセラレーションに基づく新しいプロトコルを詳述する。 アクセラレーションは実装が簡単で、トレーニングを損なわず、非常に効率的で制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-17T12:15:18Z)
• The Bearable Lightness of Big Data: Towards Massive Public Datasets in Scientific Machine Learning [0.0]
  損失のある圧縮アルゴリズムは、オープンソースのデータレポジトリに高忠実な科学データを公開するための現実的な経路を提供することを示す。 本稿では,ビッグデータフレームワークの構築に必要な要件を概説し,構築し,評価する。
  論文  参考訳（メタデータ） (2022-07-25T21:44:53Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [86.03382625531951]
  DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。 入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。 実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
  論文  参考訳（メタデータ） (2021-07-16T04:58:58Z)
• The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism [3.4377970608678314]
  大規模3次元畳み込みニューラルネットワークを学習するためのスケーラブルなハイブリッド並列アルゴリズムを提案する。 提案したトレーニングアルゴリズムを,CosmoFlowと3D U-Netの2つの挑戦的な3D CNNを用いて評価した。
  論文  参考訳（メタデータ） (2020-07-25T05:06:06Z)
• Deep Generative Models that Solve PDEs: Distributed Computing for Training Large Data-Free Models [25.33147292369218]
  科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。 本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。 私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
  論文  参考訳（メタデータ） (2020-07-24T22:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。