論文の概要: Operator Calculus for Population-Based Optimization: A Mean-Field Convergence Theory
- arxiv url: http://arxiv.org/abs/2606.14289v1
- Date: Fri, 12 Jun 2026 09:16:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.850611
- Title: Operator Calculus for Population-Based Optimization: A Mean-Field Convergence Theory
- Title(参考訳): 集団最適化のための演算子計算:平均場収束理論
- Authors: Pekka Malo, Lauri Viitasaari, Patrik Nummi, Antti Suominen, Ankur Sinha, Olli Tahvonen,
- Abstract要約: 人口ベースおよび分布最適化法は非反応問題に広く用いられている。
合成合成アルゴリズムの収束のためのツールキットを提供する。
- 参考スコア(独自算出の注目度): 0.2770822269241973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Population-based and distributional optimization methods, from evolution strategies and consensus-based optimization to covariance-matrix adaptation and stochastic gradient methods viewed as distributional dynamics, are widely used for nonconvex or black-box problems, yet their convergence analyses remain fragmented across algorithm-specific techniques. We introduce an operator calculus in which a broad class of such methods, after choosing an appropriate state space and, where necessary, augmenting the state by memory or strategy variables, is described as a composition of three elementary operators (mutation, selection, and recombination) acting on probability measures. Under explicit stability and regularity conditions, the composite operator admits a pre-generator whose continuous-time limit is a transport-reaction-jump (TRJ) PDE that preserves the operator splitting. On this foundation we establish a modular Lyapunov principle. If a state-space Lyapunov function both dissipates under the full generator and controls the relevant search-space gauges, then the state-space Lyapunov functional and the induced search errors decay exponentially. The additive generator structure allows dissipation estimates to be assembled operator by operator, providing a toolkit for certifying convergence of composite mean-field algorithms.
- Abstract(参考訳): 集団的および分布的最適化手法は、進化戦略やコンセンサスに基づく最適化から共分散行列適応や確率勾配法まで、分散力学として広く用いられ、非凸問題やブラックボックス問題に広く用いられているが、それらの収束解析はアルゴリズム固有の技術で断片化されている。
本稿では、適切な状態空間を選択した上で、必要な場合には、メモリまたは戦略変数によって状態を増強する演算子計算を、3つの基本演算子(変更、選択、組換え)の合成として記述する。
明示的な安定性と規則性条件の下で、複合作用素は、連続時間制限が操作子分裂を保存する輸送反応ジャンプ(TRJ)PDEであるプレジェネレータを許容する。
この基礎の上にモジュラーリプノフ原理を確立する。
状態空間 Lyapunov 関数が全生成元の下で散逸し、関連する探索空間ゲージを制御する場合、状態空間 Lyapunov 関数と誘導探索誤差は指数関数的に崩壊する。
加算発生器構造は、演算子による散逸推定を可能にし、合成平均場アルゴリズムの収束を証明するためのツールキットを提供する。
関連論文リスト
- Variational Entropic Optimal Transport [67.76725267984578]
本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。
VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。
合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
論文 参考訳(メタデータ) (2026-02-02T15:48:44Z) - Stochastic Control Methods for Optimization [0.0]
ユークリッド設定では、正規化制御問題の問題を解析する。
大域的な測度では、マスターフィールド問題によって特徴づけられる正規化された平均場問題を定式化する。
論文 参考訳(メタデータ) (2026-01-03T17:55:26Z) - Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。
CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
論文 参考訳(メタデータ) (2025-09-29T19:50:19Z) - Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels [5.663076715852465]
ポーランド空間から分離可能なヒルベルト空間へ非線形作用素を推定するための正規収束エンコーダ降下(SGD)アルゴリズムについて検討する。
一般SGDスキームに対して高い確率で境界を導出する新しい手法を提案する。
論文 参考訳(メタデータ) (2025-04-25T08:57:38Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳(メタデータ) (2025-04-04T16:10:18Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳(メタデータ) (2022-11-20T12:29:06Z) - Local optimization on pure Gaussian state manifolds [63.76263875368856]
ボソニックおよびフェルミオンガウス状態の幾何学に関する洞察を利用して、効率的な局所最適化アルゴリズムを開発する。
この手法は局所幾何学に適応した降下勾配の概念に基づいている。
提案手法を用いて、任意の混合ガウス状態の精製の絡み合いを計算するのにガウス浄化が十分であるという予想の数値的および解析的証拠を収集する。
論文 参考訳(メタデータ) (2020-09-24T18:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。