論文の概要: LiBOG: Lifelong Learning for Black-Box Optimizer Generation

• arxiv url: http://arxiv.org/abs/2505.13025v1
• Date: Mon, 19 May 2025 12:09:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.577535
• Title: LiBOG: Lifelong Learning for Black-Box Optimizer Generation
• Title（参考訳）: LiBOG: Black-Boxオプティマイザ生成のための生涯学習
• Authors: Jiyuan Pei, Yi Mei, Jialin Liu, Mengjie Zhang,
• Abstract要約: 本稿では,メタBBOにおける生涯学習の新たなパラダイムであるLiBOGを紹介する。 LiBOGは、タスク全体とタスク内の知識を集約し、破滅的な忘れを軽減します。
• 参考スコア（独自算出の注目度）: 4.671969845614778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-Black-Box Optimization (MetaBBO) garners attention due to its success in automating the configuration and generation of black-box optimizers, significantly reducing the human effort required for optimizer design and discovering optimizers with higher performance than classic human-designed optimizers. However, existing MetaBBO methods conduct one-off training under the assumption that a stationary problem distribution with extensive and representative training problem samples is pre-available. This assumption is often impractical in real-world scenarios, where diverse problems following shifting distribution continually arise. Consequently, there is a pressing need for methods that can continuously learn from new problems encountered on-the-fly and progressively enhance their capabilities. In this work, we explore a novel paradigm of lifelong learning in MetaBBO and introduce LiBOG, a novel approach designed to learn from sequentially encountered problems and generate high-performance optimizers for Black-Box Optimization (BBO). LiBOG consolidates knowledge both across tasks and within tasks to mitigate catastrophic forgetting. Extensive experiments demonstrate LiBOG's effectiveness in learning to generate high-performance optimizers in a lifelong learning manner, addressing catastrophic forgetting while maintaining plasticity to learn new tasks.
• Abstract（参考訳）: Meta-Black-Box Optimization (MetaBBO) は、ブラックボックスオプティマイザの構成と生成の自動化に成功し、オプティマイザ設計に必要な人的労力を大幅に削減し、従来の人間の設計したオプティマイザよりも高性能なオプティマイザを発見することで注目を集めている。 しかし,既存のMetaBBO法では,広範囲かつ代表的なトレーニング問題サンプルを用いた定常的な問題分布が事前に利用可能であることを前提として,ワンオフトレーニングを実施している。 この仮定は、分散の変化に伴う様々な問題が発生する現実世界のシナリオでは、しばしば非現実的である。 その結果、オンザフライで遭遇した新しい問題から継続的に学習し、その能力を徐々に強化する手法が求められている。 本稿では,メタBBOにおける生涯学習のパラダイムを探求し,逐次的に遭遇した問題から学習し,ブラックボックス最適化(BBO)のための高性能な最適化器を生成することを目的とした,新しいアプローチLiBOGを紹介する。 LiBOGは、タスク全体とタスク内の知識を集約し、破滅的な忘れを軽減します。 大規模な実験は、LiBOGが生涯にわたる学習方法で高性能なオプティマイザを生成することの学習効果を示し、新しいタスクを学ぶために可塑性を維持しながら破滅的な忘れに対処する。

関連論文リスト

• Learning Low-Dimensional Embeddings for Black-Box Optimization [0.0]
  Black-box Optimization (BBO) は勾配に基づく手法の代替として有用である。 BBOは高次元問題や限られた裁判予算に苦しむことが多い。 本稿ではメタラーニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-02T08:46:14Z)
• Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
  大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。 機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。 化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-17T00:35:47Z)
• Neural Exploratory Landscape Analysis for Meta-Black-Box-Optimization [12.6318861144205]
  本稿では,2段階の注目型ニューラルネットワークを用いてランドスケープの特徴を動的にプロファイリングする新しいフレームワークを提案する。 NeurELAは、マルチタスクの神経進化戦略を用いて、様々なMetaBBOアルゴリズム上で事前訓練されている。 実験によると、NeurELAは異なるMetaBBOタスクに統合された場合、一貫して優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2024-08-20T09:17:11Z)
• Pretrained Optimization Model for Zero-Shot Black Box Optimization [16.391389860521134]
  多様なタスクの最適化から得られた知識を活用する事前学習最適化モデル(POM)を提案する。 POMは、直接アプリケーションや数発のサンプルによる微調整を通じて、ゼロショット最適化の効率的なソリューションを提供する。 少数のサンプルと予算を持つ微調整POMは、大幅な性能改善をもたらす。
  論文  参考訳（メタデータ） (2024-05-06T09:11:49Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• A Closer Look at Learned Optimization: Stability, Robustness, and Inductive Biases [44.01339030872185]
  ブラックボックスは、しばしば、メタトレーニングセットのタスクと異なり、安定性と一般化に苦しむ。 最適化アルゴリズムの帰納バイアスと安定性特性について検討し、結果として得られる知見をブラックボックスの帰納バイアスの設計に適用する。 私たちはさまざまなニューラルネットワークトレーニングタスクを学び、そこで学んだ技術の現状を上回ります。
  論文  参考訳（メタデータ） (2022-09-22T17:47:21Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。