論文の概要: A Correlation-induced Finite Difference Estimator
- arxiv url: http://arxiv.org/abs/2405.05638v2
- Date: Fri, 26 Jul 2024 03:59:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 17:52:18.198678
- Title: A Correlation-induced Finite Difference Estimator
- Title（参考訳）: 相関誘起有限差分推定器
- Authors: Guo Liang, Guangwu Liu, Kun Zhang,
- Abstract要約: 本稿では, 二重リサイクル手法を提案する。
パイロットサンプルは最適な摂動を推定するためにリサイクルされる。
新しいサンプルを生成すると 効率的な有限差分推定器が生成される
- 参考スコア（独自算出の注目度）: 6.054123928890574
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Estimating stochastic gradients is pivotal in fields like service systems within operations research. The classical method for this estimation is the finite difference approximation, which entails generating samples at perturbed inputs. Nonetheless, practical challenges persist in determining the perturbation and obtaining an optimal finite difference estimator in the sense of possessing the smallest mean squared error (MSE). To tackle this problem, we propose a double sample-recycling approach in this paper. Firstly, pilot samples are recycled to estimate the optimal perturbation. Secondly, recycling these pilot samples again and generating new samples at the estimated perturbation, lead to an efficient finite difference estimator. We analyze its bias, variance and MSE. Our analyses demonstrate a reduction in asymptotic variance, and in some cases, a decrease in asymptotic bias, compared to the optimal finite difference estimator. Therefore, our proposed estimator consistently coincides with, or even outperforms the optimal finite difference estimator. In numerical experiments, we apply the estimator in several examples, and numerical results demonstrate its robustness, as well as coincidence with the theory presented, especially in the case of small sample sizes.
- Abstract（参考訳）: 確率勾配の推定は、オペレーション研究におけるサービスシステムのような分野において重要である。
この推定の古典的な方法は、摂動入力でサンプルを生成する有限差分近似である。
それでも、摂動を決定づけ、最小平均二乗誤差(MSE)を持つという意味で最適な有限差分推定器を得るという実践的な課題は続いている。
この問題に対処するため,本論文ではサンプルリサイクルの2つのアプローチを提案する。
まず、最適な摂動を推定するために、パイロットサンプルをリサイクルする。
第二に、これらのサンプルを再びリサイクルし、推定された摂動で新しいサンプルを生成し、効率的な有限差分推定器を生み出す。
私たちはそのバイアス、分散、MSEを分析します。
本分析は, 漸近的変動の減少を示すものであり, 場合によっては, 最適有限差分推定器と比較して漸近的バイアスの減少を示すものである。
したがって、提案した推定器は、常に一致するか、最適有限差分推定器よりも優れている。
数値実験では、いくつかの例に推定器を適用し、数値的な結果は、その頑健さと、その理論、特に小さなサンプルサイズの場合の一致を実証する。
関連論文リスト
- Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。
2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。
本稿では,これらの手法の総合的な比較実験を行う。
論文 参考訳（メタデータ） (2024-10-31T18:07:44Z) - Optimal convex $M$-estimation via score matching [6.115859302936817]
実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。
半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
論文 参考訳（メタデータ） (2024-03-25T12:23:19Z) - Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。
我々は,関節モデルの近似表現に基づいて限界確率を推定する。
論文 参考訳（メタデータ） (2023-10-06T17:41:41Z) - A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression [8.345523969593492]
高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
論文 参考訳（メタデータ） (2023-09-28T20:51:40Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - Scalable method for Bayesian experimental design without integrating
over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。
A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。
本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文 参考訳（メタデータ） (2023-06-30T12:40:43Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。