論文の概要: Natural Variational Annealing for Multimodal Optimization

• arxiv url: http://arxiv.org/abs/2501.04667v1
• Date: Wed, 08 Jan 2025 18:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:28.565872
• Title: Natural Variational Annealing for Multimodal Optimization
• Title（参考訳）: マルチモーダル最適化のための自然変分アニーリング
• Authors: Tâm Le Minh, Julyan Arbel, Thomas Möllenhoff, Mohammad Emtiyaz Khan, Florence Forbes,
• Abstract要約: 我々はNatural Vari Annealing (NVA)と呼ばれる新しいマルチモーダルマルチモーダル最適化手法を導入する。 3つの概念の強みを組み合わせて、複数の大域的目的に同時に局所的に逆転する。 惑星科学における実世界の問題への応用を提供する。
• 参考スコア（独自算出の注目度）: 17.08360012727045
• License:
• Abstract: We introduce a new multimodal optimization approach called Natural Variational Annealing (NVA) that combines the strengths of three foundational concepts to simultaneously search for multiple global and local modes of black-box nonconvex objectives. First, it implements a simultaneous search by using variational posteriors, such as, mixtures of Gaussians. Second, it applies annealing to gradually trade off exploration for exploitation. Finally, it learns the variational search distribution using natural-gradient learning where updates resemble well-known and easy-to-implement algorithms. The three concepts come together in NVA giving rise to new algorithms and also allowing us to incorporate "fitness shaping", a core concept from evolutionary algorithms. We assess the quality of search on simulations and compare them to methods using gradient descent and evolution strategies. We also provide an application to a real-world inverse problem in planetary science.
• Abstract（参考訳）: 我々は3つの基本概念の強みを組み合わせ、ブラックボックス非凸目的の複数のグローバルモードとローカルモードを同時に探索する、Natural Variational Annealing (NVA)と呼ばれる新しいマルチモーダル最適化手法を導入する。 まず、ガウスの混合のような変分後部を用いて同時探索を行う。 第二に、アニーリングを施し、徐々に探検を中止して搾取を行う。 最後に、更新がよく知られ、容易に実装できるアルゴリズムに類似する自然段階学習を用いて、変分探索分布を学習する。 3つの概念はNVAでまとめられ、新しいアルゴリズムが生まれ、進化的アルゴリズムのコアコンセプトである"フィットネス・シェーピング"を組み込むことができます。 シミュレーションによる探索の質を評価し、勾配降下法と進化戦略を用いた手法と比較する。 また、惑星科学における現実世界の逆問題への応用も提供する。

関連論文リスト

• Integrating Chaotic Evolutionary and Local Search Techniques in Decision Space for Enhanced Evolutionary Multi-Objective Optimization [1.8130068086063336]
  本稿では,SOMMOP(Single-Objective Multi-Modal Optimization)とMOO(Multi-Objective Optimization)の両方に焦点を当てる。 SOMMOPではニッチ技術とカオス進化を統合し,ガウス突然変異を併用したパーシスタンス・クラスタリングを行った。 MOOでは,これらの手法を不確実性に基づく選択,適応的チューニングを組み込んだ包括的フレームワークに拡張し,決定論的群集に半径(R)の概念を導入する。
  論文  参考訳（メタデータ） (2024-11-12T15:18:48Z)
• Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
  そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。 実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-26T17:31:15Z)
• Analyzing and Overcoming Local Optima in Complex Multi-Objective Optimization by Decomposition-Based Evolutionary Algorithms [5.153202024713228]
  多目的進化アルゴリズム(MOEAD)はしばしば局所最適に収束し、解の多様性を制限する。 本稿では,局所最適問題を克服するために,革新的なRP選択戦略であるベクトルガイドウェイトハイブリッド法を提案する。 本研究は,2014年から2022年までのMOEADsフレームワークにおける14のアルゴリズムによるアブレーションと,提案手法の有効性を従来の手法と最先端の手法の両方に対して評価するための一連の実証実験からなる。
  論文  参考訳（メタデータ） (2024-04-12T14:29:45Z)
• Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search [12.545742558041583]
  我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。 我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。 それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
  論文  参考訳（メタデータ） (2023-06-05T07:32:47Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Result Diversification by Multi-objective Evolutionary Algorithms with Theoretical Guarantees [94.72461292387146]
  両目的探索問題として結果の多様化問題を再構成し,多目的進化アルゴリズム(EA)を用いて解くことを提案する。 GSEMOが最適時間近似比1/2$を達成できることを理論的に証明する。 目的関数が動的に変化すると、GSEMOはこの近似比をランニングタイムで維持することができ、Borodinらによって提案されたオープンな問題に対処する。
  論文  参考訳（メタデータ） (2021-10-18T14:00:22Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)
• GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction [69.94831587339539]
  本稿では,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を提案する。 我々のアルゴリズムは複雑な解空間を表現でき、様々な異なる解領域を追跡できる。
  論文  参考訳（メタデータ） (2020-02-17T20:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。