論文の概要: Affinity-Aware Sharding for Delayed Tensor Parallelism

• arxiv url: http://arxiv.org/abs/2609.13846v1
• Date: Sat, 12 Sep 2026 10:01:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.581427
• Title: Affinity-Aware Sharding for Delayed Tensor Parallelism
• Title（参考訳）: 遅発性テンソル並列性に対する親和性を考慮したシャーディング
• Abstract要約: Delayed Parallelism (DTP)は、テンソル並列トランスフォーマー推論のブロックされた全リデュースを取り除く。 DTPは、FFN内のニューロンと注意モジュール内のKVヘッドの置換対称性を破ることを示した。 我々は,KVヘッドとFFNニューロンとの親和性を最大化するために,密集したモデルをシャーディング前に置換し,蒸留や再学習を高速化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Delayed Tensor Parallelism (DTP) removes the blocking all-reduce of tensor-parallel Transformer inference. Every device adds its own partial output to its residual stream (and broadcasts it) immediately, but only gathers (receives) the other devices' partials $δ$ modules later. A TP to DTP change therefore amounts to a real architecture change, and dense Transformer models need to be retrained or distilled after adaptation. We show that DTP breaks the permutation symmetry of neurons inside FFNs and of KV heads inside attention modules, and that this symmetry breakage makes the sharding itself a modelling decision. We show that maximising the affinity between the KV heads and the FFN neurons co-located on a device, by permuting the dense model before sharding, speeds up the distillation or retraining process. The affinity is measured with a first-order approximation of the damage that losing a head's contribution does to each neuron's output, and the co-located affinity is maximised with a coordinate-ascent optimiser that alternates an exact balanced assignment of neurons with an exhaustive search over the KV head partitions. The whole procedure takes under two minutes on one GPU for Qwen3-0.6B and Danube3-500M. On these models, at $δ=1$, the affinity-optimised layouts reach any distillation target in about half to two thirds of the steps needed by the naive contiguous layouts, over the whole 10k-step range we tested, and every optimised seed beats every contiguous seed and all but one of the sixteen random layouts. We also show that the co-located affinity score at initialisation predicts the KL to the base model after training, across seventeen layouts ranging from anti-optimised to optimised (Pearson $-0.81$ and $-0.89$).
• Abstract（参考訳）: 遅延テンソル並列 (Delayed Tensor Parallelism, DTP) はテンソル並列トランスフォーマー推論のブロックされた全リデューサを除去する。 すべてのデバイスは、その残余ストリームに独自の部分出力を追加(そして即座にブロードキャストする)するが、他のデバイスの部分出力は後で$δ$モジュールのみを収集する(受信する)。 したがって、TPからDTPへの変更は実際のアーキテクチャの変更となり、高密度トランスフォーマーモデルは適応後に再訓練または蒸留する必要がある。 我々は、DTPがFFN内のニューロンと注意モジュール内のKVヘッドの置換対称性を破り、この対称性の破れがシャーディング自体をモデル化決定することを示した。 我々は,KVヘッドとFFNニューロンとの親和性を最大化するために,密集したモデルをシャーディング前に置換し,蒸留や再学習を高速化する。 この親和性は、各ニューロンの出力にヘッドの寄与を失う損傷の1次近似を用いて測定され、その共位置親和性は、KVヘッドパーティションを網羅して正確なバランスの取れたニューロンの割り当てを交互に交互に交互に行う座標偏移オプティマイザによって最大化される。 処理時間はQwen3-0.6BとDanube3-500Mの1つのGPUで2分以下である。 これらのモデルでは、δ=1$のアフィニティ最適化されたレイアウトは、我々がテストした10kステップの範囲全体において、単純で連続的なレイアウトで必要なステップの約3分の2で蒸留目標に達する。 Pearson $-0.81$および$-0.89$) から最適化された17のレイアウトにおいて, 初期化時の親和性スコアは, トレーニング後のベースモデルに対するKLの予測値を示す。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Denoised Variance-Based Pruning with Optimal Brain Bias Compensation [45.88028371034407]
  VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。 Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。 最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
  論文  参考訳（メタデータ） (2026-08-18T11:23:49Z)
• Equivariant Continuous Normalizing Flows with Offline Sampling for Fermionic Ground State Estimation [0.0]
  フローは置換同変ニューラルODEとして実装される。 調和に閉じ込められたスピンレス電子系のトレーニングは、CISD基準値以下の基底状態エネルギーを示す。 スケーリング実験では、NERSCのPerlmutterスーパーコンピュータの32のGPUノードを使用して、1～128のNVIDIA A100のほぼ理想的なスケーリングを実証している。
  論文  参考訳（メタデータ） (2026-07-20T20:17:13Z)
• What Does a Discrete Diffusion Model Learn? [71.03603607324338]
  離散拡散モデルは、デノイザ、スコア比、ブリッジプラグイン予測器などを学ぶ。 まず, 連続時間マルコフ連鎖 (CTMC) ELBO の任意のノイズ発生過程に対する厳密な導出から始める。 すべてのアイデンティティは、正確に解けるモデル上で近似なしで数値的に検証される。
  論文  参考訳（メタデータ） (2026-07-06T17:56:11Z)
• Demystifying Pipeline Parallelism: First Theory for PipeDream [53.657104889705856]
  本稿では、PDスタイルの手法に対して、クリーンな非収束性をもたらす固定ブロック-SGD抽象化としてランダム化PipeDream(PD)を導入する。 定常PDによって引き起こされる遅延は、$S2 - S/2 + O(1)$ for $S$として増大するので、スタイルリードのコントリビューションは、チューナレート形式で$(2S4)$、同等に$(S4/K)$としてスケールする。
  論文  参考訳（メタデータ） (2026-06-02T11:14:57Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Dynamic, Symmetry-Preserving, and Hardware-Adaptable Circuits for Quantum Computing Many-Body States and Correlators of the Anderson Impurity Model [0.0]
  ハミルトン予想値は$omega(N_q)N_textmeas. leq O(N_textimpN_textbath)$対称性保存並列測定回路を必要とする。 我々のアンサッツは、初期のフォールトトレラントプロセッサの電子的相関を考慮に入れるのに有用なツールである。
  論文  参考訳（メタデータ） (2024-05-23T21:41:28Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Tangent Model Composition for Ensembling and Continual Fine-tuning [69.92177580782929]
  タンジェントモデル合成(Tangent Model composition, TMC)は、事前訓練された点を中心に微調整されたコンポーネントモデルを独立に結合する手法である。 TMCの精度は4.2%向上し、非線形微調整モデルの精度は4.2%向上した。
  論文  参考訳（メタデータ） (2023-07-16T17:45:33Z)
• Retrosynthetic Planning with Dual Value Networks [107.97218669277913]
  我々は、PDVN(Planning with Dual Value Networks)と呼ばれる新しいオンライントレーニングアルゴリズムを提案する。 PDVNは計画段階と更新段階を交互に行い、分子の合成性とコストを予測する。 広く使われているUSPTOデータセットでは、PDVNアルゴリズムが既存のマルチステッププランナの探索成功率を改善する。
  論文  参考訳（メタデータ） (2023-01-31T16:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。