論文の概要: Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR

• arxiv url: http://arxiv.org/abs/2210.06352v1
• Date: Fri, 7 Oct 2022 17:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 15:53:17.117116
• Title: Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR
• Title（参考訳）: PartIRにおける複合SPMD分割戦略の自動発見
• Authors: Sami Alabed, Dominik Grewe, Juliana Franco, Bart Chrzaszcz, Tom Natan, Tamara Norman, Norman A. Rink, Dimitrios Vytiniotis, Michael Schaarschmidt
• Abstract要約: 本稿では,多くのモデルアーキテクチャとアクセラレータシステムのための効率的な組み合わせを同定する自動分割器を提案する。 我々の重要な発見は、Monte Carlo Tree Searchベースのパーティショナがパーティショニング固有のコンパイラ分析を直接利用し、ガイドされたゴールは、様々なモデルのエキスパートレベルの戦略と一致することである。
• 参考スコア（独自算出の注目度）: 1.2507285499419876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large neural network models are commonly trained through a combination of advanced parallelism strategies in a single program, multiple data (SPMD) paradigm. For example, training large transformer models requires combining data, model, and pipeline partitioning; and optimizer sharding techniques. However, identifying efficient combinations for many model architectures and accelerator systems requires significant manual analysis. In this work, we present an automatic partitioner that identifies these combinations through a goal-oriented search. Our key findings are that a Monte Carlo Tree Search-based partitioner leveraging partition-specific compiler analysis directly into the search and guided goals matches expert-level strategies for various models.
• Abstract（参考訳）: 大規模ニューラルネットワークモデルは、単一のプログラム、複数データ(SPMD)パラダイムにおける高度な並列処理戦略の組み合わせによって、一般的に訓練される。 例えば、大規模なトランスフォーマーモデルのトレーニングには、データ、モデル、パイプラインのパーティショニング、オプティマイザシャーディングテクニックを組み合わせる必要がある。 しかし、多くのモデルアーキテクチャと加速器システムの効率的な組み合わせを特定するには、かなりの手動分析が必要である。 本研究では,これらの組み合わせをゴール指向探索により識別する自動分割器を提案する。 我々の重要な発見は、モンテカルロの木の探索に基づくパーティショナが、分割固有のコンパイラ解析を検索に直接利用し、様々なモデルのエキスパートレベルの戦略に合致することである。

関連論文リスト

• EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
  抽象構文木(AST)にヒントを得た新しい特徴木ベース合成フレームワークを提案する。 コードの構文構造をキャプチャするASTとは異なり、私たちのフレームワークはコード要素間のセマンティックな関係をモデル化します。 広く使われているベースモデルを微調整してEpiCoderシリーズを作成し、関数レベルとファイルレベルの両方で最先端のパフォーマンスを実現しました。
  論文  参考訳（メタデータ） (2025-01-08T18:58:15Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• PartIR: Composing SPMD Partitioning Strategies for Machine Learning [1.1250231074374903]
  NNパーティショニングシステムの設計であるPartIRについて述べる。 PartIRは書き直しに対する漸進的なアプローチに重点を置いており、ハードウェアとランタイムに依存しない。 予測可能性,表現性,ピーク性能に到達する能力を示すために,いくつかの異なるモデルでPartIRを評価した。
  論文  参考訳（メタデータ） (2024-01-20T10:30:31Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Automap: Towards Ergonomic Automated Parallelism for ML Models [2.469997094590327]
  本稿では,既存のコンパイラと既存ユーザをシームレスに統合する自動パーティショナのプロトタイプを提案する。 我々のパーティショナは、データ並列性とパラメータ/アクティベーションシャーディングを含むSPMDスタイルの並列処理を可能にする。 帰納的戦術とプラットフォーム非依存のパーティショニングIRでの検索を組み合わせることで、Automapはトランスフォーマー層に対するMegatronシャーディングのような専門的なパーティショニング戦略を回復することができる。
  論文  参考訳（メタデータ） (2021-12-06T12:09:38Z)
• DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution [15.086401550425125]
  DistIRは分散計算のための表現であり、効率的な解析のために調整されている。 本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
  論文  参考訳（メタデータ） (2021-11-09T21:32:51Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• Joint Search of Data Augmentation Policies and Network Architectures [4.887917220146243]
  提案手法は,拡張ポリシー探索法とネットワークアーキテクチャ探索法を組み合わせることで,エンドツーエンドでそれらを協調的に最適化する。 実験の結果, 本手法は, 独立的に検索した結果に対して, 競合性, 優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-12-17T06:09:44Z)
• Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning [3.479254848034425]
  私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。 私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
  論文  参考訳（メタデータ） (2020-03-27T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。