論文の概要: Leveraging Memory Effects and Gradient Information in Consensus-Based
Optimization: On Global Convergence in Mean-Field Law
- arxiv url: http://arxiv.org/abs/2211.12184v2
- Date: Fri, 15 Sep 2023 17:14:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 19:08:48.452838
- Title: Leveraging Memory Effects and Gradient Information in Consensus-Based
Optimization: On Global Convergence in Mean-Field Law
- Title（参考訳）: 合意に基づく最適化におけるメモリ効果と勾配情報の活用:平均場法における大域収束について
- Authors: Konstantin Riedl
- Abstract要約: 高次元のグローバルおよび非スムース最適化に適した多目的で柔軟でカスタマイズ可能なコンセンサスベース最適化(CBO)法を提案する。
我々は、力学が平均場法則における目的関数の大域的最小化に収束することを証明した。
我々は,機械学習や圧縮センシング剤などの応用において,このCBO変種が優れているという証拠を提示し,CBOの適用範囲を広げる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we study consensus-based optimization (CBO), a versatile,
flexible and customizable optimization method suitable for performing nonconvex
and nonsmooth global optimizations in high dimensions. CBO is a multi-particle
metaheuristic, which is effective in various applications and at the same time
amenable to theoretical analysis thanks to its minimalistic design. The
underlying dynamics, however, is flexible enough to incorporate different
mechanisms widely used in evolutionary computation and machine learning, as we
show by analyzing a variant of CBO which makes use of memory effects and
gradient information. We rigorously prove that this dynamics converges to a
global minimizer of the objective function in mean-field law for a vast class
of functions under minimal assumptions on the initialization of the method. The
proof in particular reveals how to leverage further, in some applications
advantageous, forces in the dynamics without loosing provable global
convergence. To demonstrate the benefit of the herein investigated memory
effects and gradient information in certain applications, we present numerical
evidence for the superiority of this CBO variant in applications such as
machine learning and compressed sensing, which en passant widen the scope of
applications of CBO.
- Abstract（参考訳）: 本稿では,非凸および非滑らかな大域的最適化を高次元で行うのに適した,多目的でフレキシブルでカスタマイズ可能な最適化手法であるコンセンサスベース最適化(CBO)について検討する。
CBOは多粒子メタヒューリスティックであり、様々な応用に有効であり、同時に最小限の設計により理論解析に有効である。
しかし、基盤となるダイナミクスは、進化的計算と機械学習で広く使用される様々なメカニズムを組み込むのに十分な柔軟性を持ち、メモリ効果と勾配情報を利用するcboの変種を分析して示している。
我々は、このダイナミクスが、メソッドの初期化に関する最小の仮定の下で、広範囲な関数クラスに対する平均場則における対象関数の大域的最小化に収束することを厳密に証明する。
特にこの証明は、証明可能なグローバル収束をなくすことなく、より有利な応用において、ダイナミクスの力を活用する方法を示している。
本研究の目的は,CBOの応用範囲を広げる機械学習や圧縮センシングなどの応用において,このCBO変種が優れていることを示す数値的証拠を,特定の応用におけるメモリ効果と勾配情報について検討することである。
関連論文リスト
- FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。
我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。
AOMIC PIOP1による脳MRIデータへの応用について述べる。
論文 参考訳（メタデータ） (2023-03-26T19:41:17Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - AGGLIO: Global Optimization for Locally Convex Functions [5.221860952360943]
本稿では,AGG(Accelerated Optimization Generalized LInear-model)をステージワイドでグローバルな手法として提案する。
AGGは、A-バッチSGD更新としてポイントを用いて容易に実装でき、証明可能な収束と収束実験を提供する。
論文 参考訳（メタデータ） (2021-11-06T18:15:56Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳（メタデータ） (2021-11-01T09:17:15Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Causal Bayesian Optimization [8.958125394444679]
本研究では、介入の順序が実行される因果モデルの一部である関心の変数をグローバルに最適化する問題について検討する。
私たちのアプローチは、因果推論、不確実性定量化、シーケンシャルな意思決定といったアイデアを組み合わせています。
因果グラフを理解することで、最適な意思決定戦略を推論する能力が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-05-24T13:20:50Z) - Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast
Convergence [30.393999722555154]
本稿では,古典的ポリアクステップサイズ (Polyak, 1987) の亜次法でよく用いられる変種を提案する。
The proposed Polyak step-size (SPS) is a attractive choice for set the learning rate for gradient descent。
論文 参考訳（メタデータ） (2020-02-24T20:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。