論文の概要: Quasi-Newton Updating for Large-Scale Distributed Learning

• arxiv url: http://arxiv.org/abs/2306.04111v1
• Date: Wed, 7 Jun 2023 02:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:27:38.015910
• Title: Quasi-Newton Updating for Large-Scale Distributed Learning
• Title（参考訳）: 大規模分散学習のための準ニュートン更新
• Authors: Wu Shuyuan, Huang Danyang, Wang Hansheng
• Abstract要約: 統計的,計算,通信効率に優れた分散準ニュートン(DQN)フレームワークを開発した。 DQN法ではヘッセン行列の逆転や通信は不要である。 理論上, 得られた推定量は, 軽度条件下での少数の反復に対して統計的に効率的であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed computing is critically important for modern statistical analysis. Herein, we develop a distributed quasi-Newton (DQN) framework with excellent statistical, computation, and communication efficiency. In the DQN method, no Hessian matrix inversion or communication is needed. This considerably reduces the computation and communication complexity of the proposed method. Notably, related existing methods only analyze numerical convergence and require a diverging number of iterations to converge. However, we investigate the statistical properties of the DQN method and theoretically demonstrate that the resulting estimator is statistically efficient over a small number of iterations under mild conditions. Extensive numerical analyses demonstrate the finite sample performance.
• Abstract（参考訳）: 分散コンピューティングは現代の統計分析において極めて重要である。 本稿では,統計的,計算,通信効率に優れた分散準ニュートン(DQN)フレームワークを開発する。 DQN法では、ヘッセン行列の逆転や通信は不要である。 これにより、提案手法の計算と通信の複雑さが大幅に低減される。 特に、関連する既存の手法は数値収束のみを解析し、収束するイテレーションの数を分散させる必要がある。 しかし,DQN法の統計的特性を考察し,得られた推定値が軽度条件下での少数の反復に対して統計的に効率的であることを理論的に示す。 大規模な数値解析は、有限サンプル性能を示す。

関連論文リスト

• Statistical Inference in Tensor Completion: Optimal Uncertainty Quantification and Statistical-to-Computational Gaps [7.174572371800217]
  本稿では,不完全かつノイズの多い観測を用いて,テンソル線形形式を統計的に推定する簡易かつ効率的な手法を提案する。 これは、信頼区間の構築、ヘテロスケダティックおよびサブ指数雑音下での推論、同時テストなど、様々な統計的推論タスクに適している。
  論文  参考訳（メタデータ） (2024-10-15T03:09:52Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Large Dimensional Independent Component Analysis: Statistical Optimality and Computational Tractability [13.104413212606577]
  独立成分分析(ICA)における最適統計性能と計算制約の影響について検討する。 最適サンプルの複雑性は次元において線形であることが示される。 我々は,最適サンプルの複雑性と最小収束率の両立が可能な計算抽出可能な推定値を開発する。
  論文  参考訳（メタデータ） (2023-03-31T15:46:30Z)
• High Dimensional Statistical Estimation under One-bit Quantization [27.718986773043643]
  1ビット(バイナリ)データは、信号ストレージ、処理、送信、プライバシーの強化といった効率性のために、多くのアプリケーションで好まれる。 本稿では,3つの基本的な統計的推定問題について検討する。 ガウス系と重尾系の両方で、高次元スケーリングを扱う新しい推定器が提案されている。
  論文  参考訳（メタデータ） (2022-02-26T15:13:04Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Quantum Algorithms for Data Representation and Analysis [68.754953879193]
  機械学習におけるデータ表現のための固有problemsの解を高速化する量子手続きを提供する。 これらのサブルーチンのパワーと実用性は、主成分分析、対応解析、潜在意味解析のための入力行列の大きさのサブ線形量子アルゴリズムによって示される。 その結果、入力のサイズに依存しない実行時のパラメータは妥当であり、計算モデル上の誤差が小さいことが示され、競合的な分類性能が得られる。
  論文  参考訳（メタデータ） (2021-04-19T00:41:43Z)
• Stochastic Approximation for Online Tensorial Independent Component Analysis [98.34292831923335]
  独立成分分析(ICA)は統計機械学習や信号処理において一般的な次元削減ツールである。 本稿では,各独立成分を推定する副産物オンライン時系列アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T18:52:37Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。