論文の概要: Range Penalization: Theoretical Insights with Applications in Federated Learning
- arxiv url: http://arxiv.org/abs/2606.10916v1
- Date: Tue, 09 Jun 2026 14:26:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.548884
- Title: Range Penalization: Theoretical Insights with Applications in Federated Learning
- Title（参考訳）: Range Penalization: フェデレートラーニングの応用に関する理論的考察
- Authors: Yiyuan She, Zhaojun Hu, Yifan Sun,
- Abstract要約: 本稿では,統計的精度を高めるために,線形な体系的成分を用いた連合学習のための範囲正規化を提案する。
このアプローチでは、異なるクライアント間で共有する重みを持つ特徴を特定し、極端な値でパーソナライズされた特徴の重みを適応的にクラスタ化する。
統計的精度と忠実パターン回復の漸近解析のための新しい証明手法を開発した。
- 参考スコア（独自算出の注目度）: 4.955027506950935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces range regularization for federated learning with linear systematic components to enhance statistical accuracy and induce cross-client regularity conducive to quantization, coding, and resource efficiency. Our approach identifies features with shared weights across different clients and adaptively clusters the weights of personalized features at extreme values, a process we refer to as polar clustering. Theoretical analysis of the associated estimators poses significant challenges due to the seminorm nature and non-decomposability of the regularizer. We develop new proof techniques for the nonasymptotic analysis of statistical accuracy and faithful pattern recovery. Moreover, a fast optimization algorithm that leverages varying degrees of local strong convexity is proposed to reduce iteration complexity. Experiments support the efficacy and efficiency of the proposed approach.
- Abstract（参考訳）: 本稿では,線形体系的成分を用いた連立学習のための範囲正規化を提案し,量子化,符号化,資源効率に寄与するクロスクライアント正規化を導出する。
当社のアプローチでは,異なるクライアント間で共有する重み付き特徴を特定し,極性クラスタリング(Polar clustering)と呼ばれる,パーソナライズされた特徴の重みを適応的にクラスタリングする。
関連する推定器の理論解析は、正則化器の半ノルムの性質と非分解性のために重要な課題を提起する。
統計的精度と忠実パターン回復の漸近解析のための新しい証明手法を開発した。
さらに, 局所的な強凸度を多変量に生かした高速最適化アルゴリズムを提案し, イテレーションの複雑さを低減した。
実験は提案手法の有効性と有効性を支持する。
関連論文リスト
- Towards regularized learning from functional data with covariate shift [3.072411352294816]
本稿では,ベクトル値回帰における教師なし領域適応のための一般化正規化フレームワークについて検討する。
仮説空間を制限することにより,関数的出力を扱える実用的な演算子学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2026-01-28T20:30:05Z) - Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。
CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
論文 参考訳（メタデータ） (2025-09-29T19:50:19Z) - Hadamard-Riemannian Optimization for Margin-Variance Ensemble [0.0]
本稿では,損失関数に差分分散を明示的に組み込んだ新しいアンサンブル学習フレームワークを提案する。
提案手法は負の予測マージンとその分散を共同で最適化し,ロバスト性の向上と一般化性能の向上に繋がった。
論文 参考訳（メタデータ） (2025-09-12T12:28:39Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Regularization for Adversarial Robust Learning [18.46110328123008]
我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。
この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。
本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
論文 参考訳（メタデータ） (2024-08-19T03:15:41Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Out-of-distribution robustness for multivariate analysis via causal regularisation [4.487663958743944]
本稿では,分散シフトに対するロバスト性を確保するために,因果性に根ざした正規化戦略を提案する。
アンカー回帰フレームワークに基づいて、古典アルゴリズムの損失関数に単純な正規化項を組み込む方法を示す。
本フレームワークでは,損失関数と正規化戦略との整合性を効率よく検証することができる。
論文 参考訳（メタデータ） (2024-03-04T09:21:10Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。