Fugu-MT 論文翻訳(概要): Simultaneous Inference for Massive Data: Distributed Bootstrap

論文の概要: Simultaneous Inference for Massive Data: Distributed Bootstrap

arxiv url: http://arxiv.org/abs/2002.08443v1
Date: Wed, 19 Feb 2020 20:53:32 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 13:27:35.758588
Title: Simultaneous Inference for Massive Data: Distributed Bootstrap
Title（参考訳）: 大規模データの同時推論:分散ブートストラップ
Authors: Yang Yu, Shih-Kang Chao, Guang Cheng
Abstract要約: オーバーサンプリングなしでマスタマシン上でブートストラップを行い、通常はcitekleiner2014scalable,sengupta2016subsampledという既存のメソッドで必要になります。本手法では, 繰り返しモデルの再適合を必要としないが, 作業機械から受信した勾配に対して, マスタマシンに乗算器ブートストラップのみを適用している。
参考スコア（独自算出の注目度）: 22.940967562381136
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose a bootstrap method applied to massive data processed distributedly in a large number of machines. This new method is computationally efficient in that we bootstrap on the master machine without over-resampling, typically required by existing methods \cite{kleiner2014scalable,sengupta2016subsampled}, while provably achieving optimal statistical efficiency with minimal communication. Our method does not require repeatedly re-fitting the model but only applies multiplier bootstrap in the master machine on the gradients received from the worker machines. Simulations validate our theory.
Abstract（参考訳）: 本稿では,多数のマシンで分散処理される大規模データに対して,ブートストラップ法を提案する。この新しい手法は、既存の方法である \cite{kleiner2014scalable,sengupta2016subsampled} で要求されるオーバーサンプリングなしでマスタマシンをブートストラップし、最小限の通信で最適な統計効率を実現できるという点で計算効率が良い。本手法では,繰り返しモデルの再適合を必要としないが,作業機械から受信した勾配に対して,マスタマシンに乗算器ブートストラップのみを適用する。シミュレーションは我々の理論を検証する。

関連論文リスト

Orthogonal Bootstrap: Efficient Simulation of Input Uncertainty [12.43391454956318]
我々は,必要なモンテカルロ複製数を削減できる textbfOrthogonal Bootstrap という新しい手法を提案する。理論的,数値的には,Orthogonal BootstrapはBootstrapの計算コストを大幅に削減し,経験的精度を向上し,構成間隔の同じ幅を維持する。
論文参考訳（メタデータ） (2024-04-29T23:08:03Z)
An Online Bootstrap for Time Series [0.27195102129094995]
本稿では,データ依存を考慮し,オンラインで実行できるブートストラップ手法を提案する。一般条件下でのブートストラップ方式の理論的妥当性を検証した。我々の研究は、古典的な再サンプリング技術と現代のデータ分析の要求のギャップを埋めるものです。
論文参考訳（メタデータ） (2023-10-30T16:03:11Z)
Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文参考訳（メタデータ） (2023-06-16T17:59:51Z)
Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
論文参考訳（メタデータ） (2023-03-07T19:12:31Z)
Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文参考訳（メタデータ） (2022-10-05T09:17:27Z)
Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文参考訳（メタデータ） (2021-12-11T13:18:33Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Centroid Approximation for Bootstrap [17.617944390196286]
ブートストラップは原理的かつ強力な頻繁な統計ツールだ不確実性定量化のための標準的なブートストラップ法は、理想的なブートストラップ分布を近似するために大規模なブートストラップサンプルを描く必要があるため、計算集約的である。本研究では, 最適なブートストラップ分布をより正確に近似するために, 高品質な「セントロイド」点集合を明示的に推定する効率的な手法を提案する。
論文参考訳（メタデータ） (2021-10-17T04:31:57Z)
Distributed Bootstrap for Simultaneous Inference Under High Dimensionality [24.19717678204432]
高次元大規模データに対する同時推論のための分散ブートストラップ法を提案する。この方法は、通信効率の高い脱バイアスラッソに基づく $ell_infty$-norm 信頼領域を生成する。理論的には、統計的精度と効率性を保証する通信ラウンドの数よりも低いことを証明します。
論文参考訳（メタデータ） (2021-02-19T18:28:29Z)
Byzantine-Robust Learning on Heterogeneous Datasets via Bucketing [55.012801269326594]
ビザンチンの堅牢な分散学習では、中央サーバは、複数のワーカーに分散したデータよりも、機械学習モデルを訓練したい。これらの労働者のごく一部は、所定のアルゴリズムから逸脱し、任意のメッセージを送ることができる。本稿では,既存のロバストなアルゴリズムを無視可能な計算コストでヘテロジニアスなデータセットに適応させる,シンプルなバケット方式を提案する。
論文参考訳（メタデータ） (2020-06-16T17:58:53Z)
Domain Adaptive Bootstrap Aggregating [5.444459446244819]
ブートストラップ集約(英: bootstrap aggregating)は、予測アルゴリズムの安定性を改善する一般的な方法である。本稿では, ドメイン適応型バッグング手法と, 隣り合う新しい反復型サンプリング手法を提案する。
論文参考訳（メタデータ） (2020-01-12T20:02:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。