論文の概要: Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
- arxiv url: http://arxiv.org/abs/2408.05640v2
- Date: Tue, 13 Aug 2024 11:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 14:16:02.832360
- Title: Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
- Title（参考訳）: 非凸ペナルティを有する量子回帰のための拡散平滑化近似勾配
- Authors: Reza Mirzaeifard, Diyako Ghaderyan, Stefan Werner,
- Abstract要約: IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。
本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 3.269165283595478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed sensors in the internet-of-things (IoT) generate vast amounts of sparse data. Analyzing this high-dimensional data and identifying relevant predictors pose substantial challenges, especially when data is preferred to remain on the device where it was collected for reasons such as data integrity, communication bandwidth, and privacy. This paper introduces a federated quantile regression algorithm to address these challenges. Quantile regression provides a more comprehensive view of the relationship between variables than mean regression models. However, traditional approaches face difficulties when dealing with nonconvex sparse penalties and the inherent non-smoothness of the loss function. For this purpose, we propose a federated smoothing proximal gradient (FSPG) algorithm that integrates a smoothing mechanism with the proximal gradient framework, thereby enhancing both precision and computational speed. This integration adeptly handles optimization over a network of devices, each holding local data samples, making it particularly effective in federated learning scenarios. The FSPG algorithm ensures steady progress and reliable convergence in each iteration by maintaining or reducing the value of the objective function. By leveraging nonconvex penalties, such as the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD), the proposed method can identify and preserve key predictors within sparse models. Comprehensive simulations validate the robust theoretical foundations of the proposed algorithm and demonstrate improved estimation precision and reliable convergence.
- Abstract（参考訳）: IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。
この高次元データを解析し、関連する予測器を特定することは、特にデータの整合性、通信帯域幅、プライバシなどの理由で収集されたデバイスに留まることが望ましい場合、重大な課題となる。
本稿では,これらの課題に対処するフェデレーション付き量子レグレッションアルゴリズムを提案する。
量子回帰は、平均回帰モデルよりも変数間の関係に関するより包括的な見解を提供する。
しかしながら、従来のアプローチは、非凸のスパースペナルティと損失関数の固有の非滑らかさを扱う際に困難に直面している。
そこで本研究では, 近似勾配フレームワークとスムージング機構を統合し, 精度と計算速度の両立を図ったFSPGアルゴリズムを提案する。
この統合はデバイスネットワーク上で最適化処理を行い、それぞれがローカルデータサンプルを保持することにより、フェデレートされた学習シナリオに特に有効である。
FSPGアルゴリズムは、目的関数の値の維持または縮小により、各イテレーションにおける安定した進捗と信頼性の高い収束を保証する。
ミニマックス・コンケーブペナルティ (MCP) やスムーズクリッピング絶対偏差 (SCAD) などの非凸ペナルティを利用して, スパースモデル内のキー予測器を同定し, 保存することができる。
総合シミュレーションは,提案アルゴリズムの頑健な理論的基礎を検証し,推定精度と信頼度の向上を実証する。
関連論文リスト
- Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
論文 参考訳（メタデータ） (2024-08-02T15:00:04Z) - Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳（メタデータ） (2023-09-29T15:24:48Z) - Federated Coordinate Descent for Privacy-Preserving Multiparty Linear
Regression [0.5049057348282932]
我々は、FCDと呼ばれる新しい分散スキームであるFederated Coordinate Descentを紹介し、マルチパーティシナリオ下でこの問題に安全に対処する。
具体的には、セキュアな集約と追加の摂動により、(1)ローカル情報が他の当事者にリークされることがなく、(2)グローバルモデルパラメータがクラウドサーバに公開されることが保証される。
また,FCD方式は, 線形, リッジ, ラッソ回帰などの一般線形回帰に適用可能であることを示す。
論文 参考訳（メタデータ） (2022-09-16T03:53:46Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳（メタデータ） (2021-10-25T17:09:59Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳（メタデータ） (2021-07-07T08:02:00Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。