論文の概要: FedMIX-P: Mixing Local and Global Preconditioners for Federated Vision and Language Model Training

• arxiv url: http://arxiv.org/abs/2610.01515v1
• Date: Thu, 01 Oct 2026 11:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.098662
• Title: FedMIX-P: Mixing Local and Global Preconditioners for Federated Vision and Language Model Training
• Title（参考訳）: FedMIX-P:フェデレーションビジョンと言語モデルトレーニングのためのローカルプレコンディショナーとグローバルプレコンディショナーの混合
• Abstract要約: 我々はtexttFedTFedPFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFedSFed SFedSFedSFedSFedSを提案する。
• 参考スコア（独自算出の注目度）: 0.42303492200814446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive preconditioners accelerate model training, but heterogeneous client geometries can bias federated updates even when gradients are evaluated at the same model. Round-start synchronization alone cannot prevent this mismatch from reappearing during local training. We propose \texttt{FedMIX-P}, which mixes shared and local preconditioners at every local step, retaining local adaptation while reducing mean-squared operator mismatch by a factor of $λ^2$. For smooth nonconvex objectives with stochastic gradients and partial participation, we establish an $O(R^{-1/2})$ stationarity bound using suitable stepsizes and a horizon-dependent mixing weight, without requiring local preconditioners to converge to one another. A two-client counterexample shows that fixed positive mixing can preserve a nonstationary fixed point. The theory covers bounded linear symmetric positive-definite preconditioners. Experiments with SOAP, Sophia, and Muon variants across vision and language tasks show improvements over corresponding local optimizers, including accuracy gains of up to $19.47$ percentage points and lower validation loss for 60M--350M language models. Full nonlinear and momentum-based updates require separate analysis.
• Abstract（参考訳）: 適応型プレコンディショナーはモデルトレーニングを加速するが、不均一なクライアントジオメトリは、同じモデルで勾配が評価された場合でも、フェデレートされた更新をバイアスすることができる。 ラウンドスタート同期だけでは、このミスマッチがローカルトレーニング中に再び現れるのを防げない。 平均二乗演算子のミスマッチを$λ^2$の係数で減らしながら、局所的な適応を保ちながら、各局所ステップで共有プレコンディショナーとローカルプレコンディショナーを混合した \texttt{FedMIX-P} を提案する。 確率勾配と部分参加を持つ滑らかな非凸対象に対して、局所的プレコンディショナーを互いに収束させることなく、適切なステップサイズと水平依存性の混合重みを用いた$O(R^{-1/2})$定常性を確立する。 2サイクルの反例は、固定された正の混合が非定常な固定点を保存することができることを示している。 この理論は有界線型対称正定プレコンディショナーをカバーしている。 SOAP、Sophia、Muonなど、ビジョンタスクや言語タスクでの実験では、最大19.47ドルの精度向上や、60M-350M言語モデルの検証損失の低減など、対応するローカルオプティマイザよりも改善されている。 完全な非線形および運動量に基づく更新は別個の解析を必要とする。

関連論文リスト

• FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection [0.42303492200814446]
  textttFedreは各ラウンドで低ランクの最適化ベースを共有し、ラウンド毎に更新する。 サブスペースリフレッシュにより、蓄積されたモデル更新は、ラウンド単位の予算を超えることができる。 事前トレーニングを含むビジョンと言語タスクの実験は、textttFedreが評価された低ランクアダプタベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2026-10-01T12:56:25Z)
• Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
  大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。 本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。 我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。 スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
  論文  参考訳（メタデータ） (2026-08-25T15:07:11Z)
• Local Fokker--Planck Geometry for Score Estimation: Heat-Ball Mean-Value Representations and Exact High-Dimensional Sampling [2.51205440996053]
  スコアベースの生成モデルとランゲヴィンサンプルは、フォワード拡散のスコア関数 $nabla_xlog p_t(x)$ を推定することに依存する。 グローバルコンディショニングをローカルなパラボラ平均化に置き換えるローカルなFokker-Planckフレームワークを開発した。 256次元MNISTの2次元構造データに対して,本フレームワークの有効性を検証した。
  論文  参考訳（メタデータ） (2026-06-26T10:48:45Z)
• Co-optimization for Adaptive Conformal Prediction [9.881784717196675]
  中心$m(x)$と半径$h(x)$を共同最適化することにより予測間隔を学習するフレームワークを提案する。 合成および実ベンチマークの実験は、CoCPが一貫して短い間隔で生成し、最先端の条件付きカバレッジ診断を実現することを示した。
  論文  参考訳（メタデータ） (2026-03-02T10:43:19Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。