論文の概要: Low-discrepancy Sampling in the Expanded Dimensional Space: An
Acceleration Technique for Particle Swarm Optimization
- arxiv url: http://arxiv.org/abs/2303.03055v3
- Date: Sun, 2 Jul 2023 04:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 14:24:12.115490
- Title: Low-discrepancy Sampling in the Expanded Dimensional Space: An
Acceleration Technique for Particle Swarm Optimization
- Title（参考訳）: 拡大次元空間における低離散サンプリング:粒子群最適化のための加速法
- Authors: Feng Wu, Yuelin Zhao, Jianhua Pang, Jun Yan, and Wanxie Zhong
- Abstract要約: 本研究では、粒子群最適化(PSO)の誤差解析を完了させる。
各反復における PSO の誤差境界は、拡張次元空間における標本集合の分散に依存する。
拡張次元空間における低差分サンプリングによるPSO型アルゴリズムの高速化手法を提案する。
- 参考スコア（独自算出の注目度）: 29.269147683466386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compared with random sampling, low-discrepancy sampling is more effective in
covering the search space. However, the existing research cannot definitely
state whether the impact of a low-discrepancy sample on particle swarm
optimization (PSO) is positive or negative. Using Niderreiter's theorem, this
study completes an error analysis of PSO, which reveals that the error bound of
PSO at each iteration depends on the dispersion of the sample set in an
expanded dimensional space. Based on this error analysis, an acceleration
technique for PSO-type algorithms is proposed with low-discrepancy sampling in
the expanded dimensional space. The acceleration technique can generate a
low-discrepancy sample set with a smaller dispersion, compared with a random
sampling, in the expanded dimensional space; it also reduces the error at each
iteration, and hence improves the convergence speed. The acceleration technique
is combined with the standard PSO and the comprehensive learning particle swarm
optimization, and the performance of the improved algorithm is compared with
the original algorithm. The experimental results show that the two improved
algorithms have significantly faster convergence speed under the same accuracy
requirement.
- Abstract（参考訳）: ランダムサンプリングと比較すると,低差分サンプリングの方が探索空間の被覆に有効である。
しかし, 粒子群最適化 (pso) に対する低分散サンプルの影響が正か負かは, 既存の研究で明らかに述べられていない。
ニダーレイターの定理を用いて、この研究はPSOの誤差解析を完了し、各反復におけるPSOの誤差境界は拡張次元空間におけるサンプル集合の分散に依存することを示した。
この誤差解析に基づいて,拡張次元空間における低差分サンプリングによるPSO型アルゴリズムの高速化手法を提案する。
加速度法は、拡張次元空間においてランダムサンプリングに比べて分散が小さい低分散サンプル集合を生成することができ、また、各イテレーションにおける誤差を低減し、収束速度を向上できる。
高速化手法を標準PSOと総合学習粒子群最適化と組み合わせ,改良アルゴリズムの性能を元のアルゴリズムと比較した。
実験の結果, 2つの改良アルゴリズムは同じ精度で収束速度が著しく速いことがわかった。
関連論文リスト
- DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳（メタデータ） (2023-10-09T15:29:10Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Particle-based Online Bayesian Sampling [24.290436348629452]
粒子の集合を用いて近似分布を表すオンライン粒子に基づく変分推論(OPVI)アルゴリズムについて検討する。
近似の利用による勾配誤差を低減するために, ばらつきを低減するために, バッチサイズを増大させるサブ線形を含む。
実験の結果,提案アルゴリズムは既存のベイズサンプリング手法をオンライン環境に適用するよりも優れた結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-02-28T17:46:32Z) - Reweighted Interacting Langevin Diffusions: an Accelerated Sampling
Methodfor Optimization [28.25662317591378]
本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。
提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
論文 参考訳（メタデータ） (2023-01-30T03:48:20Z) - Sampling with Mollified Interaction Energy Descent [57.00583139477843]
モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。
MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する
我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-10-24T16:54:18Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - An adjoint-free algorithm for conditional nonlinear optimal perturbations (CNOPs) via sampling [5.758073912084367]
我々は、条件付き非線形最適摂動(CNOP)を得るための最先端統計機械学習技術に基づくサンプリングアルゴリズムを提案する。
サンプリング手法は、目的関数値(ゼロ次情報)への勾配を直接減少させる
本研究では, 空間パターン, 目的値, 定量化計算時間, 非線形誤差成長を用いて得られたCNOPを実証する。
論文 参考訳（メタデータ） (2022-08-01T16:07:22Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Minimal Variance Sampling with Provable Guarantees for Fast Training of
Graph Neural Networks [22.618779809748435]
既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。
最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。
提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
論文 参考訳（メタデータ） (2020-06-24T16:49:29Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。