Fugu-MT 論文翻訳(概要): NBCLT: Parameter-Agnostic Norm-Ball Clipped Local Training

論文の概要: NBCLT: Parameter-Agnostic Norm-Ball Clipped Local Training

arxiv url: http://arxiv.org/abs/2610.17913v1
Date: Tue, 13 Oct 2026 08:05:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-17 08:13:51.868171
Title: NBCLT: Parameter-Agnostic Norm-Ball Clipped Local Training
Title（参考訳）: NBCLT:パラメータ非依存ノームボールクランプローカルトレーニング
Abstract要約: フェデレートラーニング(FL)と分散ラーニング(DL)の両方のための統一的なローカルトレーニングフレームワークであるNBCLT(Norm-Ball Clipped Local Training)を提案する。 NBCLTは、予測と修正のローカル更新ルールとユークリッドプロジェクションをフレキシブルな標準球に組み合わせ、フレキシブルな更新ジオメトリの下でノルムボールクリッピングを実行する。
参考スコア（独自算出の注目度）: 4.21843719670108
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Distributed learning with multiple local steps reduces communication but aggravates drift, and its practical performance often depends on carefully tuned hyperparameters under heterogeneous data and communication constraints. At the same time, recent Muon-type optimizers suggest that constraining updates within suitable norm balls provides a simple way to encode geometric priors into optimization. In this work, we propose NBCLT (Norm-Ball Clipped Local Training), a unified local-training framework for both federated learning (FL) and decentralized learning (DL). NBCLT combines a predict-and-correct local update rule with Euclidean projections onto flexible norm balls, thereby performing norm-ball clipping under flexible update geometries while retaining a simple implementation. In FL, its problem-parameter-free regime achieves $\mathcal{O}(ε^{-2})$ communication complexity and $\mathcal{O}(ε^{-4})$ total stochastic-gradient complexity without assuming bounded heterogeneity, when the per-round local-computation budget is scaled appropriately with the horizon. In DL, NBCLT is compatible with both static and time-varying mixing and preserves these accuracy exponents under the analogous computation scaling, up to fixed network constants and an additive initialization cost.
Abstract（参考訳）: 複数の局所的なステップによる分散学習は通信を減らし、ドリフトを増大させ、その実践的性能は不均一なデータと通信制約の下で注意深く調整されたハイパーパラメータに依存することが多い。同時に、最近のミューオン型最適化器は、適切なノルム球内での更新の制限は、幾何的事前を最適化にエンコードする簡単な方法である、と示唆している。本研究では,フェデレートラーニング (FL) と分散ラーニング (DL) の両方のための統一的なローカルトレーニングフレームワークであるNBCLT(Norm-Ball Clipped Local Training, Norm-Ball Clipped Local Training)を提案する。 NBCLTは、予測と修正のローカル更新ルールとユークリッドプロジェクションをフレキシブルな標準球に組み合わせ、フレキシブルな更新ジオメトリの下でノルムボールクリッピングを行い、簡単な実装を維持している。 FLでは、その問題パラメータのない状態は通信複雑性$\mathcal{O}(ε^{-2})と$\mathcal{O}(ε^{-4})$トータル確率勾配複雑性を達成する。 DLでは、NBCLTは静的および時間変化の混合と互換性があり、これらの精度指数を類似の計算スケーリング、固定されたネットワーク定数、付加的な初期化コストで保存する。

関連論文リスト

FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection [0.42303492200814446]
textttFedreは各ラウンドで低ランクの最適化ベースを共有し、ラウンド毎に更新する。サブスペースリフレッシュにより、蓄積されたモデル更新は、ラウンド単位の予算を超えることができる。事前トレーニングを含むビジョンと言語タスクの実験は、textttFedreが評価された低ランクアダプタベースラインよりも優れていることを示している。
論文参考訳（メタデータ） (2026-10-01T12:56:25Z)
FedMIX-P: Mixing Local and Global Preconditioners for Federated Vision and Language Model Training [0.42303492200814446]
我々はtexttFedTFedPFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSを提案する。
論文参考訳（メタデータ） (2026-10-01T11:50:34Z)
Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文参考訳（メタデータ） (2025-05-29T19:59:18Z)
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。非滑らかな正規化はしばしば機械学習タスクに組み込まれる。本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T08:32:25Z)
Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文参考訳（メタデータ） (2025-02-11T13:10:34Z)
FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。 FLAREが一貫してベースラインを上回っている実験。
論文参考訳（メタデータ） (2024-04-23T07:48:17Z)
Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文参考訳（メタデータ） (2024-02-05T19:02:19Z)
DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文参考訳（メタデータ） (2023-08-16T11:22:36Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)
$\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。