論文の概要: Quasi-Newton Updating for Large-Scale Distributed Learning
- arxiv url: http://arxiv.org/abs/2306.04111v2
- Date: Sun, 11 Jun 2023 14:06:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 23:07:44.221594
- Title: Quasi-Newton Updating for Large-Scale Distributed Learning
- Title(参考訳): 大規模分散学習のための準ニュートン更新
- Authors: Shuyuan Wu, Danyang Huang, Hansheng Wang
- Abstract要約: 統計的,計算,通信効率に優れた分散準ニュートン(DQN)フレームワークを開発した。
DQN法ではヘッセン行列の逆転や通信は不要である。
理論上, 得られた推定量は, 軽度条件下での少数の反復に対して統計的に効率的であることを示す。
- 参考スコア(独自算出の注目度): 0.32228025627337864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed computing is critically important for modern statistical
analysis. Herein, we develop a distributed quasi-Newton (DQN) framework with
excellent statistical, computation, and communication efficiency. In the DQN
method, no Hessian matrix inversion or communication is needed. This
considerably reduces the computation and communication complexity of the
proposed method. Notably, related existing methods only analyze numerical
convergence and require a diverging number of iterations to converge. However,
we investigate the statistical properties of the DQN method and theoretically
demonstrate that the resulting estimator is statistically efficient over a
small number of iterations under mild conditions. Extensive numerical analyses
demonstrate the finite sample performance.
- Abstract(参考訳): 分散コンピューティングは現代の統計分析において極めて重要である。
本稿では,統計的,計算,通信効率に優れた分散準ニュートン(DQN)フレームワークを開発する。
DQN法では、ヘッセン行列の逆転や通信は不要である。
これにより、提案手法の計算と通信の複雑さが大幅に低減される。
特に、関連する既存の手法は数値収束のみを解析し、収束するイテレーションの数を分散させる必要がある。
しかし,DQN法の統計的特性を考察し,得られた推定値が軽度条件下での少数の反復に対して統計的に効率的であることを理論的に示す。
大規模な数値解析は、有限サンプル性能を示す。
関連論文リスト
- Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Large Dimensional Independent Component Analysis: Statistical Optimality
and Computational Tractability [13.104413212606577]
独立成分分析(ICA)における最適統計性能と計算制約の影響について検討する。
最適サンプルの複雑性は次元において線形であることが示される。
我々は,最適サンプルの複雑性と最小収束率の両立が可能な計算抽出可能な推定値を開発する。
論文 参考訳(メタデータ) (2023-03-31T15:46:30Z) - High Dimensional Statistical Estimation under One-bit Quantization [27.718986773043643]
1ビット(バイナリ)データは、信号ストレージ、処理、送信、プライバシーの強化といった効率性のために、多くのアプリケーションで好まれる。
本稿では,3つの基本的な統計的推定問題について検討する。
ガウス系と重尾系の両方で、高次元スケーリングを扱う新しい推定器が提案されている。
論文 参考訳(メタデータ) (2022-02-26T15:13:04Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:42:44Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Quantum Algorithms for Data Representation and Analysis [68.754953879193]
機械学習におけるデータ表現のための固有problemsの解を高速化する量子手続きを提供する。
これらのサブルーチンのパワーと実用性は、主成分分析、対応解析、潜在意味解析のための入力行列の大きさのサブ線形量子アルゴリズムによって示される。
その結果、入力のサイズに依存しない実行時のパラメータは妥当であり、計算モデル上の誤差が小さいことが示され、競合的な分類性能が得られる。
論文 参考訳(メタデータ) (2021-04-19T00:41:43Z) - Stochastic Approximation for Online Tensorial Independent Component
Analysis [98.34292831923335]
独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。
本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-12-28T18:52:37Z) - Statistical Query Algorithms and Low-Degree Tests Are Almost Equivalent [29.684442397855197]
我々は,高次元仮説テストの文脈において,最も普及している2つの制限された計算モデル,統計クエリフレームワークと低次コローラについて検討した。
テスト問題に関する穏やかな条件下では、2種類のアルゴリズムは本質的にはパワーで等価である。
提案手法では, スパースPCA, テンソルPCA, および植木クリッド問題のいくつかの変種に対して, 新たな統計的クエリローバウンドを求める。
論文 参考訳(メタデータ) (2020-09-13T22:55:18Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。