論文の概要: Fast and Robust Sparsity Learning over Networks: A Decentralized
Surrogate Median Regression Approach
- arxiv url: http://arxiv.org/abs/2202.05498v1
- Date: Fri, 11 Feb 2022 08:16:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 03:29:18.397451
- Title: Fast and Robust Sparsity Learning over Networks: A Decentralized
Surrogate Median Regression Approach
- Title(参考訳): ネットワーク上での高速かつロバストなスパーシリティ学習:分散化中間回帰アプローチ
- Authors: Weidong Liu, Xiaojun Mao, Xin Zhang
- Abstract要約: 本稿では、分散化空間学習問題を効率的に解くために、分散化代理中央回帰法(deSMR)を提案する。
提案アルゴリズムは,簡単な実装で線形収束率を満足する。
また,スパース・サポート・リカバリの理論的結果も確立した。
- 参考スコア(独自算出の注目度): 10.850336820582678
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized sparsity learning has attracted a significant amount of
attention recently due to its rapidly growing applications. To obtain the
robust and sparse estimators, a natural idea is to adopt the non-smooth median
loss combined with a $\ell_1$ sparsity regularizer. However, most of the
existing methods suffer from slow convergence performance caused by the {\em
double} non-smooth objective. To accelerate the computation, in this paper, we
proposed a decentralized surrogate median regression (deSMR) method for
efficiently solving the decentralized sparsity learning problem. We show that
our proposed algorithm enjoys a linear convergence rate with a simple
implementation. We also investigate the statistical guarantee, and it shows
that our proposed estimator achieves a near-oracle convergence rate without any
restriction on the number of network nodes. Moreover, we establish the
theoretical results for sparse support recovery. Thorough numerical experiments
and real data study are provided to demonstrate the effectiveness of our
method.
- Abstract(参考訳): 分散スパーシティ学習は、その急速に成長しているアプリケーションのために、近年多くの注目を集めている。
頑健でスパースな推定器を得るには、非スムース中央値の損失と$\ell_1$のスパルシティ正規化器を組み合わせることが自然な考えである。
しかし、既存の手法の多くは、"em double} の非スムース目的によって生じる収束性能の低下に苦しんでいる。
そこで本論文では,分散型サーロゲート中央回帰法 (desmr) を提案し,分散型スパーシティ学習問題を効率的に解く手法を提案する。
提案アルゴリズムは,簡単な実装で線形収束率を享受できることを示す。
また,統計的保証について検討し,提案した推定器がネットワークノード数に制限を加えることなく,ほぼ円の収束率を達成することを示す。
さらに, スパースサポートリカバリの理論的結果も確立した。
本手法の有効性を実証するために, 詳細な数値実験と実データ研究を行った。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Scalable Optimal Margin Distribution Machine [50.281535710689795]
ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。
本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
論文 参考訳(メタデータ) (2023-05-08T16:34:04Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-19T13:19:54Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-04T07:52:34Z) - Variance Reduced Median-of-Means Estimator for Byzantine-Robust
Distributed Inference [9.983824799552774]
本稿では、ビザンチンノードの適度な割合に対して堅牢な効率的な分散推論アルゴリズムを開発する。
私たちの知る限りでは、これはByzantine-robust分散学習の設定における最初の正常性の結果です。
論文 参考訳(メタデータ) (2021-03-04T06:50:52Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳(メタデータ) (2020-08-24T13:23:02Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳(メタデータ) (2020-03-27T05:13:29Z) - Gradient tracking and variance reduction for decentralized optimization
and machine learning [19.54092620537586]
有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。
分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
論文 参考訳(メタデータ) (2020-02-13T07:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。