Fugu-MT 論文翻訳(概要): CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization

論文の概要: CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization

arxiv url: http://arxiv.org/abs/2608.02502v1
Date: Mon, 03 Aug 2026 17:04:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-04 21:56:46.391621
Title: CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization
Title（参考訳）: CMuon: Chunked Momentum Orthogonalizationによる拡散変圧器訓練の高速化と安定化
Abstract要約: Diffusion Transformer (DiTs) は、視覚生成モデリングにおいて最先端(SOTA)のパフォーマンスを達成したが、そのトレーニングは計算的に禁止されている。 Momentum Orthogonalization (Muon) は、Dits への直接適用により、AdamW に代わる有望な代替手段を提供する。
参考スコア（独自算出の注目度）: 10.379982302944201
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diffusion Transformers (DiTs) have achieved state-of-the-art (SOTA) performance in visual generative modeling, yet their training remains computationally prohibitive. While the recently proposed Momentum Orthogonalization (Muon) optimizer offers a promising alternative to AdamW, its direct application to DiTs yields suboptimal late-stage convergence. In this paper, we identify the root cause of this bottleneck: standard DiT architectures fuse functionally distinct weights (e.g., within AdaLN and QKV layers) into unified tensors for computational efficiency. Applying Muon to these fused tensors inadvertently induces implicit subspace coupling, which distorts update directions and degrades global optimization. To address this, we introduce Chunked Muon (CMuon), a simple yet highly effective strategy that partitions these matrices into independent sub-components prior to orthogonalization. Extensive experiments demonstrate that a 675M-parameter DiT trained with CMuon achieves a FID of 1.18 on ImageNet 256 in just 200 epochs. This represents more than a 2x training speedup over AdamW, while effectively overcoming the late-stage convergence plateaus of vanilla Muon.
Abstract（参考訳）: Diffusion Transformer (DiTs) は、視覚生成モデリングにおいて最先端(SOTA)のパフォーマンスを達成したが、そのトレーニングは計算的に禁止されている。最近提案されたMomentum Orthogonalization (Muon)オプティマイザはAdamWに代わる有望な代替手段を提供するが、DiTsへの直接適用は準最適後期収束をもたらす。本稿では,このボトルネックの根本原因を明らかにする。標準的なDiTアーキテクチャは,機能的に異なる重み(例えばAdaLNとQKV層内)を,計算効率の統一テンソルに融合させる。これらの融合テンソルにミューオンを適用すると、暗黙的な部分空間結合が生じ、これは更新方向を歪め、大域的な最適化を低下させる。これを解決するために、直交化に先立ってこれらの行列を独立した部分成分に分割する単純かつ高効率な戦略であるチャンクドムーン(CMuon)を導入する。 CMuonで訓練された675MパラメータのDiTは、わずか200エポックでImageNet 256上のFIDが1.18であることを示した。これはAdamWの2倍以上のトレーニングスピードアップであり、バニラ・ムーンの後期収束台地を効果的に克服している。

関連論文リスト

DMuon: Efficient Distributed Muon Training with Near-Adam Overhead [13.192517400076746]
DMuonはオープンソースの分散Muon実装で、既存のトレーニングパイプラインをドロップインモジュールとして統合します。 DMuonは、エンドツーエンドのステップタイムで1.48x-3.01xのスピードアップ、ステップタイムで6.85x-163.00xのスピードアップを達成する。
論文参考訳（メタデータ） (2026-06-25T15:23:03Z)
N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
論文参考訳（メタデータ） (2026-05-13T08:46:17Z)
TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers [24.534939825452884]
TrasMuon は (i) グローバル RMS キャリブレーションと (ii) エネルギーベースの信頼領域クリッピングにより、マグニチュードを安定化させながら、ムオンの近距離幾何学を保存する。適応スケーリングの再導入により最適化効率は向上するが,高エネルギーのアウトレイラにより不安定性が向上することが実証された。視覚と言語モデルに関する実証実験は、TresMuonがベースラインよりも早く収束することを示した。
論文参考訳（メタデータ） (2026-02-13T22:11:59Z)
Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum [19.385264518362472]
大規模言語モデル(LLM)は、多種多様な自然言語処理(NLP)タスク間の競合性能を達成する。モーメントに分散適応正規化を適用するMuon-NSRとMuon-VSの2つの変種を提案する。 GPT-2 と LLaMA プレトレーニング実験により,提案手法は収束を加速し,AdamW と Muon の両ベースラインの競合よりも連続的に検証損失を減少させることを示した。
論文参考訳（メタデータ） (2026-01-21T02:41:56Z)
TNT: Improving Chunkwise Training for Test-Time Memorization [62.78875147721906]
タイタンスやTTTのような深いテストタイム記憶モジュールを持つリカレントニューラルネットワーク(RNN)は、トランスフォーマーとは異なる有望で線形にスケールするパラダイムである。 TNTは,2段階のプロセスを通じて,推論性能からトレーニング効率を分離する,新たなトレーニングパラダイムである。 TNTはトレーニング速度を最も正確なベースライン構成の17倍に高速化する。
論文参考訳（メタデータ） (2025-11-10T17:45:09Z)
MuonBP: Faster Muon via Block-Periodic Orthogonalization [24.232069944820513]
ベースラインからMuonBPへの学習率の調整方法を示し、このアルゴリズムの保証を与える。 8方向テンソルテンソルとZeROによる8Bモデルのトレーニングでは、ムオンBPは8%のムオンを達成でき、性能は劣化しない。
論文参考訳（メタデータ） (2025-10-19T19:56:05Z)
Octic Vision Transformers: Quicker ViTs Through Equivariance [29.044546222577804]
我々は幾何学的対称性を捉えるためにOctic Vision Transformer (octic ViTs)を導入する。われわれの八面体線形層はFLOPの5.33倍、メモリの8倍の低減を実現している。我々は ImageNet-1K 上で octic ViT (DeiT-III) と unsupervised (DINOv2) を訓練する。
論文参考訳（メタデータ） (2025-05-21T12:22:53Z)
On Disentangled Training for Nonlinear Transform in Learned Image Compression [59.66885464492666]
学習画像圧縮(lic)は,従来のコーデックに比べて高いレート歪み(R-D)性能を示した。既存のlic法は、非線形変換の学習において、エネルギーのコンパクト化によって生じる緩やかな収束を見落としている。非線形変換の訓練において, エネルギーの縮退を両立させる線形補助変換(AuxT)を提案する。
論文参考訳（メタデータ） (2025-01-23T15:32:06Z)
Dynamic Diffusion Transformer [67.13876021157887]
Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
論文参考訳（メタデータ） (2024-10-04T14:14:28Z)
Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
論文参考訳（メタデータ） (2024-03-06T05:13:28Z)
CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
論文参考訳（メタデータ） (2023-05-17T03:19:18Z)
Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
論文参考訳（メタデータ） (2022-08-13T16:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。