論文の概要: CurvaDion: Curvature-Adaptive Distributed Orthonormalization

• arxiv url: http://arxiv.org/abs/2512.13728v1
• Date: Sat, 13 Dec 2025 22:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.402367
• Title: CurvaDion: Curvature-Adaptive Distributed Orthonormalization
• Title（参考訳）: CurvaDion: Curvature-Adaptive Distributed Orthonormalization
• Authors: Bhavesh Kumar, Roger Jin, Jeffrey Quesnelle,
• Abstract要約: 高帯域幅低レイテンシネットワーク上の勾配同期は、依然として重要なボトルネックである。 本稿では,Relative Maximum Momentum Change (RMMC) を用いて同期を必要とする高曲率領域を検出するCurvaDionを紹介する。 我々は,CurvaDionが160Mから1.3Bのモデル間のベースライン収束を一致させながら,99%の通信削減を実現することを示した。
• 参考スコア（独自算出の注目度）: 4.358626952482687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models scale to trillions of parameters, distributed training across many GPUs becomes essential, yet gradient synchronization over high-bandwidth, low-latency networks remains a critical bottleneck. While recent methods like Dion reduce per-step communication through low-rank updates, they synchronize at every step regardless of the optimization landscape. We observe that synchronization requirements vary dramatically throughout training: workers naturally compute similar gradients in flat regions, making frequent synchronization redundant, while high-curvature regions require coordination to prevent divergence. We introduce CurvaDion, which uses Relative Maximum Momentum Change (RMMC) to detect high-curvature regions requiring synchronization. RMMC leverages momentum dynamics which are already computed during optimization as a computationally tractable proxy for directional curvature, adding only $\mathcal{O}(d)$ operations per layer. We establish theoretical connections between RMMC and loss curvature and demonstrate that CurvaDion achieves 99\% communication reduction while matching baseline convergence across models from 160M to 1.3B parameters.
• Abstract（参考訳）: 言語モデルが数兆のパラメータにスケールするにつれて、多くのGPU間での分散トレーニングが不可欠になるが、高帯域幅での勾配同期は依然として重要なボトルネックである。 Dionのような最近の手法は低ランクの更新を通じてステップごとの通信を減らすが、最適化の状況に関わらず、各ステップで同期する。 労働者は、平坦な地域で同様の勾配を自然に計算し、頻繁な同期を冗長にし、高い曲率領域は、ばらつきを防ぐために調整を必要とする。 本稿では,Relative Maximum Momentum Change (RMMC) を用いて同期を必要とする高曲率領域を検出するCurvaDionを紹介する。 RMMCは、方向曲率の計算可能プロキシとして最適化中に既に計算されている運動量ダイナミクスを活用し、層ごとに$\mathcal{O}(d)$演算を追加する。 我々はRMMCと損失曲率の理論的関係を確立し,CurvaDionが160Mから1.3Bのモデル間のベースライン収束を一致させ,99\%の通信削減を達成することを示した。

関連論文リスト

• Adaptive Mesh-Quantization for Neural PDE Solvers [51.26961483962011]
  グラフニューラルネットワークは複雑なジオメトリや境界条件に必要な不規則なメッシュを処理できるが、それでもすべてのノードで一様計算処理を適用できる。 適応メッシュ量子化(Adaptive Mesh Quantization): メッシュノード,エッジ,クラスタ特徴間の空間適応量子化であり,量子化モデルで使用されるビット幅を動的に調整する。 我々は,MP-PDEとGraphViTという2つの最先端モデルと統合して,複数のタスクのパフォーマンスを評価することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2025-11-23T14:47:24Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
  Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。 遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
  論文  参考訳（メタデータ） (2024-01-03T13:07:07Z)
• Robust Fully-Asynchronous Methods for Distributed Training over General Architecture [11.480605289411807]
  分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。 本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:36:40Z)
• Straggler-Resilient Decentralized Learning via Adaptive Asynchronous Updates [28.813671194939225]
  完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。 本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。 DSGD-AAUは収束の線形高速化を実現し,その有効性を示す。
  論文  参考訳（メタデータ） (2023-06-11T02:08:59Z)
• Edge Continual Learning for Dynamic Digital Twins over Wireless Networks [68.65520952712914]
  デジタルツイン(DT)は、現実世界とメタバースの間の重要なリンクを構成する。 本稿では,物理的双生児とそれに対応するサイバー双生児の親和性を正確にモデル化する新しいエッジ連続学習フレームワークを提案する。 提案するフレームワークは,破滅的忘れ込みに対して頑健な,高精度かつ同期的なCTモデルを実現する。
  論文  参考訳（メタデータ） (2022-04-10T23:25:37Z)
• Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning [0.0]
  Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。 ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
  論文  参考訳（メタデータ） (2022-03-24T14:25:15Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。