論文の概要: An Invariant Information Geometric Method for High-Dimensional Online Optimization

• arxiv url: http://arxiv.org/abs/2401.01579v1
• Date: Wed, 3 Jan 2024 07:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 15:00:37.143795
• Title: An Invariant Information Geometric Method for High-Dimensional Online Optimization
• Title（参考訳）: 高次元オンライン最適化のための不変情報幾何法
• Authors: Zhengfei Zhang, Yunyue Wei, Yanan Sui
• Abstract要約: 本稿では,対応するフレームワークから派生した,完全な不変性指向進化戦略アルゴリズムを提案する。 ベイズ最適化と進化戦略における主要なアルゴリズムに対してSynCMAをベンチマークする。 あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示す。
• 参考スコア（独自算出の注目度）: 9.538618632613714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sample efficiency is crucial in optimization, particularly in black-box scenarios characterized by expensive evaluations and zeroth-order feedback. When computing resources are plentiful, Bayesian optimization is often favored over evolution strategies. In this paper, we introduce a full invariance oriented evolution strategies algorithm, derived from its corresponding framework, that effectively rivals the leading Bayesian optimization method in tasks with dimensions at the upper limit of Bayesian capability. Specifically, we first build the framework InvIGO that fully incorporates historical information while retaining the full invariant and computational complexity. We then exemplify InvIGO on multi-dimensional Gaussian, which gives an invariant and scalable optimizer SynCMA . The theoretical behavior and advantages of our algorithm over other Gaussian-based evolution strategies are further analyzed. Finally, We benchmark SynCMA against leading algorithms in Bayesian optimization and evolution strategies on various high dimension tasks, in cluding Mujoco locomotion tasks, rover planning task and synthetic functions. In all scenarios, SynCMA demonstrates great competence, if not dominance, over other algorithms in sample efficiency, showing the underdeveloped potential of property oriented evolution strategies.
• Abstract（参考訳）: サンプル効率は、特に高価な評価とゼロオーダーフィードバックを特徴とするブラックボックスシナリオにおいて、最適化において重要である。 計算資源が豊富であるとき、ベイズ最適化はしばしば進化戦略よりも好まれる。 本稿では,そのフレームワークから導かれる完全不変性指向の進化戦略アルゴリズムを導入し,ベイズ能力の上限における次元を持つタスクにおいて,主要なベイズ最適化手法と効果的に競合する。 具体的には,従来の情報を完全に組み込んだフレームワークであるInvIGOを,完全な不変量と計算複雑性を維持しながら構築する。 次に、多次元ガウス上でInvIGOを例示し、不変かつスケーラブルな最適化器SynCMAを提供する。 他のガウス系進化戦略に対するアルゴリズムの理論的挙動と利点をさらに分析する。 最後に,Mujocoのロコモーションタスク,ローバー計画タスク,合成関数などを含む様々な高次元タスクにおけるベイズ最適化および進化戦略の先行アルゴリズムに対して,SynCMAをベンチマークする。 あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示し、プロパティ指向進化戦略の未開発の可能性を示している。

関連論文リスト

• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Efficient Inverse Design Optimization through Multi-fidelity Simulations, Machine Learning, and Search Space Reduction Strategies [0.8646443773218541]
  本稿では,限られた計算量で制約されたシナリオにおける逆設計最適化プロセスの拡張を目的とした手法を提案する。 提案手法はエアフォイル逆設計とスカラーフィールド再構成の2つの異なる工学的逆設計問題について解析する。 特に、この方法は、任意の逆設計アプリケーションに適用可能であり、代表的低忠実MLモデルと高忠実度シミュレーションの相乗効果を容易にし、様々な集団ベース最適化アルゴリズムにシームレスに適用することができる。
  論文  参考訳（メタデータ） (2023-12-06T18:20:46Z)
• Advancements in Optimization: Adaptive Differential Evolution with Diversification Strategy [0.0]
  この研究は2次元空間において単目的最適化を採用し、複数の反復で各ベンチマーク関数上でADEDSを実行する。 ADEDSは、多くの局所最適化、プレート型、谷型、伸縮型、ノイズの多い機能を含む様々な最適化課題において、標準Dより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-02T10:05:41Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Accelerating the Evolutionary Algorithms by Gaussian Process Regression with $\epsilon$-greedy acquisition function [2.7716102039510564]
  本稿では,最適化の収束を早めるために,エリート個人を推定する新しい手法を提案する。 我々の提案には、エリート個人を推定し、最適化の収束を加速する幅広い見通しがある。
  論文  参考訳（メタデータ） (2022-10-13T07:56:47Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
  EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。 これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。 その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
  論文  参考訳（メタデータ） (2020-07-09T10:19:22Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。