論文の概要: When the whole is greater than the sum of its parts: Scaling black-box inference to large data settings through divide-and-conquer
- arxiv url: http://arxiv.org/abs/2412.20323v1
- Date: Sun, 29 Dec 2024 02:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-31 16:05:37.974685
- Title: When the whole is greater than the sum of its parts: Scaling black-box inference to large data settings through divide-and-conquer
- Title（参考訳）: 全体がその部分の総和より大きい場合: 分割とコンカを通じて、ブラックボックス推論を大きなデータ設定にスケーリングする
- Authors: Emily C. Hector, Amanda Lenzi,
- Abstract要約: ディープニューラルネットワークのようなブラックボックス法は、モデルパラメータの点推定を非常に高速に得る。
我々は,データシミュレーションが計算コストが高い場合のブラックボックス分割/コンカレンダ推定と推論の枠組みを提案する。
- 参考スコア（独自算出の注目度）: 1.2113799398011764
- License:
- Abstract: Black-box methods such as deep neural networks are exceptionally fast at obtaining point estimates of model parameters due to their amortisation of the loss function computation, but are currently restricted to settings for which simulating training data is inexpensive. When simulating data is computationally expensive, both the training and uncertainty quantification, which typically relies on a parametric bootstrap, become intractable. We propose a black-box divide-and-conquer estimation and inference framework when data simulation is computationally expensive that trains a black-box estimation method on a partition of the multivariate data domain, estimates and bootstraps on the partitioned data, and combines estimates and inferences across data partitions. Through the divide step, only small training data need be simulated, substantially accelerating the training. Further, the estimation and bootstrapping can be conducted in parallel across multiple computing nodes to further speed up the procedure. Finally, the conquer step accounts for any dependence between data partitions through a statistically and computationally efficient weighted average. We illustrate the implementation of our framework in high-dimensional spatial settings with Gaussian and max-stable processes. Applications to modeling extremal temperature data from both a climate model and observations from the National Oceanic and Atmospheric Administration highlight the feasibility of estimation and inference of max-stable process parameters with tens of thousands of locations.
- Abstract（参考訳）: 深層ニューラルネットワークのようなブラックボックス法は、損失関数計算の補正によるモデルパラメータの点推定を極めて高速に行うが、現在、トレーニングデータのシミュレーションが安価であるような設定に制限されている。
データのシミュレーションが計算コストが高くなると、通常パラメトリックブートストラップに依存するトレーニングと不確実性の定量化の両方が難解になる。
本研究では,マルチ変数データ領域のパーティション上でブラックボックス推定法を訓練し,分割データ上での見積もりとブートストラップを訓練し,データ分割間での推測と推測を組み合わせ,データシミュレーションのコストが高い場合のブラックボックス分割とコンカウンタ推定と推論の枠組みを提案する。
分割ステップを通じて、小さなトレーニングデータのみをシミュレートし、トレーニングを大幅に加速する。
さらに、推定とブートストラップを複数の計算ノードに並列に行い、手順をさらに高速化することができる。
最後に、征服ステップは統計学的および計算学的に効率的な重み付け平均を通じて、データパーティション間の依存を考慮に入れている。
ガウスおよび最大安定過程を用いた高次元空間設定における我々のフレームワークの実装について述べる。
気候モデルと海洋大気庁の観測の両方から得られた極端温度データをモデル化するための応用は、数万の場所を持つ最大安定プロセスパラメータの推定と推定の可能性を強調している。
関連論文リスト
- Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。
また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。
すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文 参考訳（メタデータ） (2024-05-23T12:25:22Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Towards black-box parameter estimation [0.0]
弱いパラメータ構造仮定に基づいて統計モデルのパラメータを推定する新しいブラックボックス手法を開発した。
頻繁な頻度で構造化された確率に対して、これは、広範囲なシミュレートされたデータベース上でディープニューラルネットワークを事前トレーニングすることで達成される。
論文 参考訳（メタデータ） (2023-03-27T09:39:38Z) - Amortised inference of fractional Brownian motion with linear
computational complexity [0.0]
ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。
提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。
この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
論文 参考訳（メタデータ） (2022-03-15T14:43:16Z) - Predicting traffic signals on transportation networks using
spatio-temporal correlations on graphs [56.48498624951417]
本稿では,複数の熱拡散カーネルをデータ駆動予測モデルにマージして交通信号を予測する交通伝搬モデルを提案する。
予測誤差を最小限に抑えるためにベイズ推定を用いてモデルパラメータを最適化し,2つの手法の混合率を決定する。
提案モデルでは,計算労力の少ない最先端のディープニューラルネットワークに匹敵する予測精度を示す。
論文 参考訳（メタデータ） (2021-04-27T18:17:42Z) - Distributed Learning of Finite Gaussian Mixtures [21.652015112462]
有限ガウス混合系の分散学習における分割・対数アプローチについて検討する。
新しい推定器は整合性を示し、いくつかの一般的な条件下ではルート-nの整合性を保持する。
シミュレーションおよび実世界のデータに基づく実験により、提案手法はグローバル推定器と同等の統計的性能を有することが示された。
論文 参考訳（メタデータ） (2020-10-20T16:17:47Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。