Fugu-MT 論文翻訳(概要): Linear Regression with Distributed Learning: A Generalization Error Perspective

論文の概要: Linear Regression with Distributed Learning: A Generalization Error Perspective

arxiv url: http://arxiv.org/abs/2101.09001v1
Date: Fri, 22 Jan 2021 08:43:28 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 17:27:06.772208
Title: Linear Regression with Distributed Learning: A Generalization Error Perspective
Title（参考訳）: 分散学習による線形回帰:一般化エラーの視点から
Authors: Martin Hellkvist and Ay\c{c}a \"Oz\c{c}elikkale and Anders Ahl\'en
Abstract要約: 大規模線形回帰のための分散学習の性能を検討する。我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed learning provides an attractive framework for scaling the learning task by sharing the computational load over multiple nodes in a network. Here, we investigate the performance of distributed learning for large-scale linear regression where the model parameters, i.e., the unknowns, are distributed over the network. We adopt a statistical learning approach. In contrast to works that focus on the performance on the training data, we focus on the generalization error, i.e., the performance on unseen data. We provide high-probability bounds on the generalization error for both isotropic and correlated Gaussian data as well as sub-gaussian data. These results reveal the dependence of the generalization performance on the partitioning of the model over the network. In particular, our results show that the generalization error of the distributed solution can be substantially higher than that of the centralized solution even when the error on the training data is at the same level for both the centralized and distributed approaches. Our numerical results illustrate the performance with both real-world image data as well as synthetic data.
Abstract（参考訳）: 分散学習は、ネットワーク内の複数のノードで計算負荷を共有することによって学習タスクをスケールするための魅力的なフレームワークを提供する。本稿では,モデルパラメータ,すなわち未知数をネットワーク上に分散させた大規模線形回帰における分散学習の性能について検討する。私たちは統計的学習アプローチを採用しています。トレーニングデータの性能に焦点を当てた作業とは対照的に、一般化誤差、すなわち目に見えないデータのパフォーマンスに焦点を当てる。等方性および相関性ガウスデータとサブガウスデータの両方について一般化誤差の高確率境界を与える。これらの結果は,ネットワーク上のモデルの分割に対する一般化性能の依存性を明らかにする。特に,本研究の結果から,集中型および分散型両方の手法において,トレーニングデータの誤差が同一レベルである場合でも,分散型ソリューションの一般化誤差は集中型ソリューションよりも著しく高い値を示す。その結果,実世界の画像データと合成データの両方での性能が示される。