論文の概要: Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties
- arxiv url: http://arxiv.org/abs/2408.01307v2
- Date: Thu, 8 Aug 2024 19:16:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 17:59:25.718274
- Title: Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties
- Title(参考訳): 非凸スパースペナルティをもつ量子回帰のための分散平滑化ADMM
- Authors: Reza Mirzaeifard, Diyako Ghaderyan, Stefan Werner,
- Abstract要約: 急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
- 参考スコア(独自算出の注目度): 3.269165283595478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the rapidly evolving internet-of-things (IoT) ecosystem, effective data analysis techniques are crucial for handling distributed data generated by sensors. Addressing the limitations of existing methods, such as the sub-gradient approach, which fails to distinguish between active and non-active coefficients effectively, this paper introduces the decentralized smoothing alternating direction method of multipliers (DSAD) for penalized quantile regression. Our method leverages non-convex sparse penalties like the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD), improving the identification and retention of significant predictors. DSAD incorporates a total variation norm within a smoothing ADMM framework, achieving consensus among distributed nodes and ensuring uniform model performance across disparate data sources. This approach overcomes traditional convergence challenges associated with non-convex penalties in decentralized settings. We present theoretical proofs and extensive simulation results to validate the effectiveness of the DSAD, demonstrating its superiority in achieving reliable convergence and enhancing estimation accuracy compared with prior methods.
- Abstract(参考訳): 急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
本稿では, 実効係数と非実効係数を効果的に区別できないサブ段階的手法のような既存手法の限界に対処するため, 量子化回帰のための乗算器(DSAD)の分散平滑化交互方向法を提案する。
提案手法は,ミニマックス・コンケーブペナルティ (MCP) やスムーズクリッピング絶対偏差 (SCAD) などの非凸性スパースペナルティを活用し,有意な予測器の同定と保持を改善する。
DSADはスムーズなADMMフレームワークに総変分ノルムを組み込み、分散ノード間のコンセンサスを実現し、異なるデータソース間で均一なモデル性能を確保する。
このアプローチは、分散環境での非凸ペナルティに関連する従来の収束課題を克服する。
本稿では,DSADの有効性を検証するための理論的証明と広範囲なシミュレーション結果について述べる。
関連論文リスト
- Decentralized Stochastic Subgradient Methods for Nonsmooth Nonconvex Optimization [10.278310909980576]
本稿では,ニューラルネットワークに対する分散的下位段階学習のためのフレームワークを提案する。
提案するフレームワークは,ニューラルネットワークをトレーニング時間に含めることを保証している。
論文 参考訳(メタデータ) (2024-03-18T08:35:17Z) - AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline
Multi-Agent RL via Alternating Stationary Distribution Correction Estimation [65.4532392602682]
オフライン強化学習(RL)の主な課題の1つは、データ収集ポリシーから逸脱した学習ポリシーから生じる分散シフトである。
これはしばしば、政策改善中のアウト・オブ・ディストリビューション(OOD)アクションを避けることで対処される。
本稿では,定常分布最適化に基づく個別エージェントの集中学習を行うオフラインMARLアルゴリズムAlberDICEを紹介する。
論文 参考訳(メタデータ) (2023-11-03T18:56:48Z) - FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。
我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。
我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文 参考訳(メタデータ) (2023-09-13T08:51:19Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳(メタデータ) (2023-03-01T02:13:22Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - Distributed Semi-supervised Fuzzy Regression with Interpolation
Consistency Regularization [38.16335448831723]
ファジィif-then規則と一貫性規則付き分散半教師付きファジィ回帰(DSFR)モデルを提案する。
人工と実世界の両方のデータセットに対する実験結果から、提案したDSFRモデルは最先端のDSSLアルゴリズムよりもはるかに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2022-09-18T04:46:51Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Adaptive Degradation Process with Deep Learning-Driven Trajectory [5.060233857860902]
RUL(Remaining useful Life)推定は、インテリジェントな予測保守と健康管理の実装において重要な要素である。
本論文では, ハイブリットDNNベースの予後予測モデルを開発し, 適応ドリフトを用いてシステム劣化を特徴づける。
LSTM-CNNエンコーダデコーダを開発し、ノイズ係数とドリフト係数を併用して将来の劣化軌道を予測し、ベイズ推論により適応ドリフトを更新する。
論文 参考訳(メタデータ) (2021-03-22T06:00:42Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳(メタデータ) (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。