論文の概要: Distributed Sparse Linear Regression with Sublinear Communication
- arxiv url: http://arxiv.org/abs/2209.07230v1
- Date: Thu, 15 Sep 2022 11:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:09:41.286974
- Title: Distributed Sparse Linear Regression with Sublinear Communication
- Title（参考訳）: サブリニア通信を用いた分散スパース線形回帰
- Authors: Chen Amiraz, Robert Krauthgamer and Boaz Nadler
- Abstract要約: 本研究では,分散環境における高次元スパース線形回帰問題について,計算および通信の制約下で検討する。
そこで本研究では,Orthogonal Matching Pursuit (OMP)に基づく分散アルゴリズムについて検討し,$theta$のサポートを正確に回復する能力について理論的に検討する。
- 参考スコア（独自算出の注目度）: 9.923776424600836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of high-dimensional sparse linear regression in a
distributed setting under both computational and communication constraints.
Specifically, we consider a star topology network whereby several machines are
connected to a fusion center, with whom they can exchange relatively short
messages. Each machine holds noisy samples from a linear regression model with
the same unknown sparse $d$-dimensional vector of regression coefficients
$\theta$. The goal of the fusion center is to estimate the vector $\theta$ and
its support using few computations and limited communication at each machine.
In this work, we consider distributed algorithms based on Orthogonal Matching
Pursuit (OMP) and theoretically study their ability to exactly recover the
support of $\theta$. We prove that under certain conditions, even at low
signal-to-noise-ratios where individual machines are unable to detect the
support of $\theta$, distributed-OMP methods correctly recover it with total
communication sublinear in $d$. In addition, we present simulations that
illustrate the performance of distributed OMP-based algorithms and show that
they perform similarly to more sophisticated and computationally intensive
methods, and in some cases even outperform them.
- Abstract（参考訳）: 本研究では,分散環境における高次元スパース線形回帰問題について,計算および通信の制約下で検討する。
具体的には、複数の機械が融合センターに接続され、比較的短いメッセージを交換できる恒星トポロジーネットワークを考える。
各マシンは、同じ未知のsparse $d$-dimensional vector of regression coefficients $\theta$を持つ線形回帰モデルからのノイズのサンプルを保持する。
fusion centerの目標は、ベクトル $\theta$とそのサポートを計算と各マシンでの限られた通信を使って見積もることである。
本研究では,直交マッチング追跡(omp)に基づく分散アルゴリズムを検討し,理論上は$\theta$のサポートを正確に回復する能力について検討する。
特定の条件下では、各マシンが$\theta$の分散OMPメソッドのサポートを検出できない低信号対雑音比であっても、$d$の通信サブリニアで正しく回復することが証明されている。
さらに,分散ompアルゴリズムの性能を示すシミュレーションを行い,より高度で計算集約的な手法と同様に動作し,場合によってはその性能を上回っていることを示す。
関連論文リスト
- Diffusion Generative Modelling for Divide-and-Conquer MCMC [0.0]
Divide-and-conquer MCMCはマルコフ連鎖モンテカルロサンプリングの並列化戦略である。
本稿では,拡散生成モデルを用いて後続分布に密度近似を適合させる手法を提案する。
論文 参考訳（メタデータ） (2024-06-17T15:48:46Z) - Computing Low-Entropy Couplings for Large-Support Distributions [53.00113867130712]
最小エントロピー結合は因果関係やステガノグラフィーなどの分野で応用されている。
既存のアルゴリズムは、大容量の分布に対して計算的に抽出可能であるか、特定の分布タイプに限定されている。
この研究は、事前の反復MECアプローチを一般化されたパーティションベースの形式主義に統一することにより、これらの制限に対処する。
論文 参考訳（メタデータ） (2024-05-29T21:54:51Z) - Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。
コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。
また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
論文 参考訳（メタデータ） (2024-02-20T23:59:45Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - CoVO-MPC: Theoretical Analysis of Sampling-based MPC and Optimal
Covariance Design [8.943418808959494]
我々は,広く使用されているサンプリングベースモデル予測経路積分制御(MPPI)法の収束特性を特徴付ける。
時間変動LQRシステムをカバーする2次最適化では,MPPIは少なくとも線形収束率を満足することを示す。
我々の理論解析は、サンプリングに基づく新しいMPCアルゴリズム、CoVo-MPCに直結する。
実証的には、CoVo-MPCはシミュレーションと現実世界のクワッドアジャイルコントロールの両方で標準MPPIを43～54%上回っている。
論文 参考訳（メタデータ） (2024-01-14T21:10:59Z) - Iterative Sketching for Secure Coded Regression [66.53950020718021]
分散線形回帰を高速化する手法を提案する。
具体的には、方程式の系の基礎をランダムに回転させ、次にサブサンプルブロックを回転させ、情報を同時に確保し、回帰問題の次元を小さくする。
論文 参考訳（メタデータ） (2023-08-08T11:10:42Z) - Learning-based Control for PMSM Using Distributed Gaussian Processes
with Optimal Aggregation Strategy [16.7267979284111]
機械学習技術は、システムの未知の部分を推論するために広く使われている。
実用的な実装では、分散GPRを用いて高い計算複雑性を緩和する。
Lyapunov 安定性理論に基づいて,PMSM の分散 GPR の最適集約戦略を提案する。
論文 参考訳（メタデータ） (2023-07-26T03:56:24Z) - Distributed Sparse Linear Regression under Communication Constraints [4.997371967242497]
本稿では, 疎線形回帰モデルの分散学習に着目し, 厳しい通信制約下での学習に着目する。
我々の計画では、個々のマシンがデバイアスのラッソ推定器を計算しますが、融合センターに送信するのはごくわずかです。
シミュレーションでは、我々のスキームは通信集約的なアプローチよりもうまく機能し、場合によっては優れていることが示される。
論文 参考訳（メタデータ） (2023-01-09T08:23:37Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Multiplierless MP-Kernel Machine For Energy-efficient Edge Devices [6.335302509003343]
マルチプライアレスカーネルマシンを設計するための新しいフレームワークを提案する。
このフレームワークは、マージン伝播(MP)技術に基づいて、ピースワイズ線形(PWL)近似を使用する。
本研究では,FPGA(Field Programmable Gate Array)プラットフォーム向けに最適化されたハードウェアフレンドリーなMPベースの推論とオンライントレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-03T16:06:08Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。