論文の概要: Dobb: Shard-Local Preconditioning in Block-Diagonal Eigenbases
- arxiv url: http://arxiv.org/abs/2610.39412v1
- Date: Thu, 29 Oct 2026 05:54:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.463001
- Title: Dobb: Shard-Local Preconditioning in Block-Diagonal Eigenbases
- Title（参考訳）: Dobb: ブロック対角固有基底におけるシャードローカルプレコンディショニング
- Abstract要約: パラメータシャード内での更新をローカルに計算するための行列対応シャードであるDobbを提案する。
Dobbは入力活性化第2モーメントを対角ブロックで近似し、各ブロック内で完全な基底を追跡する。
通信を低減しつつ、正規化更新の利点を維持するために設計された分散マトリックス対応シャードであるDionに対して、Dobbをベンチマークした。
- 参考スコア（独自算出の注目度）: 5.557926430369991
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training language models whose parameters and optimizer state exceed a single node's memory requires sharding these tensors across devices. Under tensor parallelism (TP) or fully sharded data parallelism (FSDP), matrix-aware optimizers such as Muon introduce communication to perform global matrix operations across shards. We propose Dobb (Distributed Optimizer with Block-diagonal Eigenbases), a matrix-aware optimizer designed to compute updates locally within parameter shards. Dobb approximates the input-activation second moment with diagonal blocks and tracks a complete basis within each block. It projects momentum into these bases, applies sign normalization to the coefficients, and reconstructs the update. When each block lies within one shard under TP or FSDP, Dobb applies its matrix update locally, requiring no communication beyond data-parallel synchronization of the activation second moments. We benchmark Dobb against Dion, a distributed matrix-aware optimizer designed to retain the benefits of orthonormalized updates while reducing communication. On GPT-2 XL (1.56B parameters), Dobb with 16 blocks reaches a validation loss of 2.476, compared with 2.511 for Dion at rank fraction 1/16. Under FSDP on 32 H100 GPUs, Dobb reduces the amortized optimizer-call time from 124.1 ms for Dion to 9.2 ms.
- Abstract（参考訳）: パラメータとオプティマイザ状態が単一ノードのメモリを超える言語モデルのトレーニングには、デバイス間でこれらのテンソルをシャーディングする必要がある。
テンソル並列 (TP) や完全シャードデータ並列 (FSDP) の下では、Muon などの行列対応オプティマイザが通信を導入し、シャード全体にわたってグローバルな行列演算を行う。
本研究では,パラメータシャード内の更新をローカルに計算するための行列対応最適化器であるDobb (Distributed Optimizer with Block-diagonal Eigenbases)を提案する。
Dobbは入力活性化第2モーメントを対角ブロックで近似し、各ブロック内で完全な基底を追跡する。
これらの基底に運動量を持ち込み、係数に符号正規化を適用し、更新を再構築する。
各ブロックがTPまたはFSDPの下で1つのシャード内にある場合、Dubはそのマトリックス更新をローカルに適用し、アクティベーション第2モーメントのデータ並列同期以外の通信を必要としない。
通信の低減を図り,正規化更新の利点を維持するために設計された分散行列対応オプティマイザであるDionに対して,Dobbをベンチマークした。
GPT-2 XL (1.56Bパラメータ) では、16ブロックの Dobb が 2.476 で、Dion の 2.511 は 1/16 である。
32 H100 GPU上のFSDPでは、Dionの124.1msから9.2msに減らされたオプティマイザコール時間を短縮する。
関連論文リスト
- Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training [8.715775891395412]
ブロック拡散言語モデル (BDLMs) はブロック間の自己回帰計算とブロック内での並列化を組み合わせている。
従来のコンテキスト並列性は、きれいで破損したシーケンスを位置別に分割する。
ブロック並列化(Block parallelism)は,各ブロックプレフィックスを1つのランクに割り当てる分散並列化の次元である。
論文 参考訳（メタデータ） (2026-09-16T17:35:09Z) - Scaling Neural Network Verification with Tensor Parallelism and Fully Sharded Data Parallelism [0.0]
形式的ニューラルネットワーク検証は、実際にはGPUメモリによって境界付けられている。
大規模なモデルトレーニングのために開発された2つのテクニックをauto_LiRPA / $,$-CROWN 検証フレームワークに適用する。
フルシャードデータ並列(FSDP)シャードは、層ごとのAllGatherで重量行列のみをシャードし、単一GPUベースラインとビット単位で同一のバウンドを生成する。
論文 参考訳（メタデータ） (2026-06-08T11:56:29Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳（メタデータ） (2026-04-09T14:35:42Z) - GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。
GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文 参考訳（メタデータ） (2025-11-28T07:26:45Z) - DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing [4.589472292598182]
細調整された大規模言語モデル(LLM)は、その厳密なスケールのため、リソース集約型のままである。
LLMの分散ゼロオーダー微調整のためのメモリ効率のよいフレームワークであるDistZO2を提案する。
論文 参考訳（メタデータ） (2025-07-03T22:53:34Z) - Orthogonal Finetuning Made Scalable [92.34573849209238]
OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。
ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。
本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。
これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
論文 参考訳（メタデータ） (2025-06-24T17:59:49Z) - Dion: Distributed Orthonormalized Updates [27.66769374729482]
Dion(Distributed Orthonormalization)はスケーラブルで効率的な更新ルールである。
ニュートン=シュルツの繰り返しをモーメントバッファー上のアモータイズされたパワーの繰り返しに置き換える。
エラーフィードバックを伴うランク制限パラメータにより、品質と大幅なコスト削減のバランスをとる低ランクな更新が可能になる。
論文 参考訳（メタデータ） (2025-04-07T17:49:37Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。