論文の概要: Generalizing Gaussian Smoothing for Random Search
- arxiv url: http://arxiv.org/abs/2211.14721v1
- Date: Sun, 27 Nov 2022 04:42:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 20:37:03.092941
- Title: Generalizing Gaussian Smoothing for Random Search
- Title（参考訳）: ランダム探索のためのガウス平滑化の一般化
- Authors: Katelyn Gao and Ozan Sener
- Abstract要約: ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。
そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
- 参考スコア（独自算出の注目度）: 23.381986209234164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian smoothing (GS) is a derivative-free optimization (DFO) algorithm
that estimates the gradient of an objective using perturbations of the current
parameters sampled from a standard normal distribution. We generalize it to
sampling perturbations from a larger family of distributions. Based on an
analysis of DFO for non-convex functions, we propose to choose a distribution
for perturbations that minimizes the mean squared error (MSE) of the gradient
estimate. We derive three such distributions with provably smaller MSE than
Gaussian smoothing. We conduct evaluations of the three sampling distributions
on linear regression, reinforcement learning, and DFO benchmarks in order to
validate our claims. Our proposal improves on GS with the same computational
complexity, and are usually competitive with and often outperform Guided ES and
Orthogonal ES, two computationally more expensive algorithms that adapt the
covariance matrix of normally distributed perturbations.
- Abstract（参考訳）: Gaussian smoothing (GS) は、標準正規分布からサンプリングされた電流パラメータの摂動を用いて対象の勾配を推定する微分自由最適化(DFO)アルゴリズムである。
より大規模な分布系からの摂動をサンプリングするために一般化する。
非凸関数に対するDFOの解析に基づいて、勾配推定の平均二乗誤差(MSE)を最小限に抑える摂動分布を選択することを提案する。
ガウス平滑化よりも MSE が小さい3つの分布を導出する。
我々は,線形回帰,強化学習,DFOベンチマークの3つのサンプリング分布の評価を行い,その評価を行った。
提案手法は,同じ計算量でGSを改良し,通常分散摂動の共分散行列に適応する,より高コストな2つのアルゴリズムである Guided ES と Orthogonal ES と競合することが多い。
関連論文リスト
- Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。
ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
論文 参考訳（メタデータ） (2024-06-23T06:52:33Z) - On the Computation of the Gaussian Rate-Distortion-Perception Function [10.564071872770146]
平均二乗誤差(MSE)歪み下における多変量ガウス音源に対するレート歪み知覚関数(RDPF)の計算について検討した。
我々は、関連するアルゴリズムの実現、および収束と収束のキャラクタリゼーションの速度を提供する。
計算結果を数値シミュレーションで相関させ,既存の結果に関連付ける。
論文 参考訳（メタデータ） (2023-11-15T18:34:03Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。