論文の概要: MirrorCBO: A consensus-based optimization method in the spirit of mirror descent

• arxiv url: http://arxiv.org/abs/2501.12189v1
• Date: Tue, 21 Jan 2025 14:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:20:11.559014
• Title: MirrorCBO: A consensus-based optimization method in the spirit of mirror descent
• Title（参考訳）: MirrorCBO:ミラー降下の精神におけるコンセンサスに基づく最適化手法
• Authors: Leon Bungert, Franca Hoffmann, Doh Yeon Kim, Tim Roith,
• Abstract要約: そこで我々は,ミラー降下と同様の方法で標準CBOを一般化する,コンセンサスに基づく最適化(CBO)手法であるMirrorCBOを提案する。 また、制約付き最適化に対する最近のCBOアプローチの概要と、MirrorCBOに対するパフォーマンスについても紹介する。
• 参考スコア（独自算出の注目度）: 3.9398541000475653
• License:
• Abstract: In this work we propose MirrorCBO, a consensus-based optimization (CBO) method which generalizes standard CBO in the same way that mirror descent generalizes gradient descent. For this we apply the CBO methodology to a swarm of dual particles and retain the primal particle positions by applying the inverse of the mirror map, which we parametrize as the subdifferential of a strongly convex function $\phi$. In this way, we combine the advantages of a derivative-free non-convex optimization algorithm with those of mirror descent. As a special case, the method extends CBO to optimization problems with convex constraints. Assuming bounds on the Bregman distance associated to $\phi$, we provide asymptotic convergence results for MirrorCBO with explicit exponential rate. Another key contribution is an exploratory numerical study of this new algorithm across different application settings, focusing on (i) sparsity-inducing optimization, and (ii) constrained optimization, demonstrating the competitive performance of MirrorCBO. We observe empirically that the method can also be used for optimization on (non-convex) submanifolds of Euclidean space, can be adapted to mirrored versions of other recent CBO variants, and that it inherits from mirror descent the capability to select desirable minimizers, like sparse ones. We also include an overview of recent CBO approaches for constrained optimization and compare their performance to MirrorCBO.
• Abstract（参考訳）: 本研究は,ミラー降下が勾配降下を一般化するのと同じように標準CBOを一般化する,コンセンサスに基づく最適化(CBO)手法であるMirrorCBOを提案する。 このために、CBO法を双対粒子群に適用し、鏡写像の逆数を適用することで主粒子位置を保ち、強凸関数 $\phi$ の部分微分としてパラメタライズする。 このようにして、微分自由な非凸最適化アルゴリズムの利点とミラー降下の利点を組み合わせる。 特別の場合、この手法は凸制約のある問題を最適化するためにCBOを拡張している。 $\phi$ に付随するブレグマン距離上の境界を仮定すると、MirrorCBO に対する漸近収束結果を明示的な指数率で提供する。 もう一つの重要な貢献は、異なるアプリケーション設定に焦点をあてて、この新しいアルゴリズムの探索的な数値研究である。 (i)疎性誘導最適化、及び (II)MirrorCBOの競争性能を示す制約付き最適化。 本手法はユークリッド空間の(非凸)部分多様体の最適化にも利用でき、他の最近のCBO多様体のミラー化バージョンにも適用可能であること、鏡面下降からスパースのような望ましくない最小化を選択できることを実証的に観察する。 また、制約付き最適化のための最近のCBOアプローチの概要と、その性能をMirrorCBOと比較する。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• Sparsity-Constraint Optimization via Splicing Iteration [1.3622424109977902]
  我々は sPlicing itEration (SCOPE) を用いたスペーサリティ制約最適化アルゴリズムを開発した。 SCOPEはパラメータをチューニングせずに効率的に収束する。 SCOPEを用いて2次最適化を解き、スパース分類器を学習し、バイナリ変数のスパースマルコフネットワークを復元する。 C++実装に基づいたオープンソースのPythonパッケージskscopeがGitHubで公開されている。
  論文  参考訳（メタデータ） (2024-06-17T18:34:51Z)
• PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial Surrogates [0.0]
  我々は、PMBO(Polynomial-based Optimization)と呼ばれるサロゲートベースのブラックボックス最適化手法を導入する。 PMBOの性能を解析的テスト関数の集合に対するいくつかの最適化手法と比較する。 興味深いことに、PMBOは最先端の進化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-03-12T10:21:21Z)
• Simulation Based Bayesian Optimization [0.5524804393257919]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 GPは後続予測分布への解析的アクセスを提供するため、サロゲートモデルとして一般的に使用される。 本研究では,SBBOの有効性を種々の代理モデルを用いて実証的に実証する。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• On the Efficient Implementation of the Matrix Exponentiated Gradient Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
  スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。 低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。 また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
  論文  参考訳（メタデータ） (2020-12-18T19:14:51Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。