論文の概要: A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling

• arxiv url: http://arxiv.org/abs/2606.01720v1
• Date: Mon, 01 Jun 2026 05:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.395588
• Title: A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling
• Title（参考訳）: クライアントサンプリングによる直交行列モーメントの安定性に関する一考察
• Authors: Da Chang, Qiankun Shi, Lvgang Zhang, Yu Li, Ruijie Zhang,
• Abstract要約: 我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。 一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
• 参考スコア（独自算出の注目度）: 7.035974899001363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study finite-sample generalization for a client-sampled distributed optimization scheme with matrix-valued parameters and orthogonalized momentum updates. The central quantity is the gap between the population and empirical objectives at the returned model when only a subset of clients participates in each round. Under independent heterogeneous client data, unequal local sample counts, and fixed aggregation weights, we derive a finite-round upper-tail guarantee from a coupled-neighbor stability recursion and a weighted concentration step. The bound keeps the client-selection counts through the amplification factor \(Y_i(\mathcal C)\); in the uniform full-participation full-batch regime, it yields \(\widetilde{\mathcal O}(n^{-1}+n^{-1/2})\) scaling whenever the horizon-dependent amplification terms are controlled. The matrix-orthogonalization rule is required to be Lipschitz along paired trajectories, a condition satisfied by regularized polar-type maps and normalized finite-step Newton--Schulz orthogonalizers. For the unregularized matrix sign, the same argument requires coupled spectral separation, whereas Gaussian smoothing gives a finite-round smoothed variant. A one-dimensional counterexample shows why a gap, smoothing, or regularity condition is necessary.
• Abstract（参考訳）: 行列値パラメータと直交運動量更新を用いたクライアントサンプル分散最適化スキームの有限サンプル一般化について検討する。 中心となる量は、各ラウンドに参加するクライアントのサブセットのみである場合、返却されたモデルにおける人口と経験的目標の間のギャップである。 不均質なクライアントデータ、不均質な局所サンプル数、固定集約重みの下では、結合隣り合う安定再帰と重み付き濃度ステップから有限円上尾保証を導出する。 境界は増幅係数 \(Y_i(\mathcal C)\) を通してクライアント選択数を保ち、一様全参加系では、水平方向依存増幅項が制御されるたびに \(\widetilde{\mathcal O}(n^{-1}+n^{-1/2})\) をスケーリングする。 行列-直交化規則は、正則化された極型写像と正規化された有限ステップニュートン-シュルツ直交化器で満たされる条件であるペア軌道に沿ったリプシッツであることが要求される。 正規化されていない行列記号の場合、同じ引数は結合したスペクトル分離を必要とするが、ガウスの滑らか化は有限ラウンドの滑らかな変種を与える。 一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Solving a Nonlinear Eigenvalue Equation in Quantum Information Theory: A Hybrid Approach to Entanglement Quantification [0.0]
  エンタングルメントの幾何学的測度を評価するためのハイブリッド解析および数値的枠組みを提案する。 結合した非線形固有構造を等価乗算器の定常性を証明することによって明示する。 得られたハイブリッドソルバは、標準3キュービットベンチマークの正確な最適化を再現する。
  論文  参考訳（メタデータ） (2025-11-14T13:36:47Z)
• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data [0.0]
  大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。 行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-22T02:38:16Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。