論文の概要: Neural Exploratory Landscape Analysis

• arxiv url: http://arxiv.org/abs/2408.10672v2
• Date: Thu, 26 Sep 2024 11:42:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:33:41.984079
• Title: Neural Exploratory Landscape Analysis
• Title（参考訳）: ニューラルネットワークによるランドスケープ解析
• Authors: Zeyuan Ma, Jiacheng Chen, Hongshu Guo, Yue-Jiao Gong,
• Abstract要約: 本稿では,2段階の注目型ニューラルネットワークを用いてランドスケープの特徴を動的にプロファイリングする新しいフレームワークを提案する。 NeurELAは、マルチタスクの神経進化戦略を用いて、様々なMetaBBOアルゴリズム上で事前訓練されている。
• 参考スコア（独自算出の注目度）: 12.6318861144205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research in Meta-Black-Box Optimization (MetaBBO) have shown that meta-trained neural networks can effectively guide the design of black-box optimizers, significantly reducing the need for expert tuning and delivering robust performance across complex problem distributions. Despite their success, a paradox remains: MetaBBO still rely on human-crafted Exploratory Landscape Analysis features to inform the meta-level agent about the low-level optimization progress. To address the gap, this paper proposes Neural Exploratory Landscape Analysis (NeurELA), a novel framework that dynamically profiles landscape features through a two-stage, attention-based neural network, executed in an entirely end-to-end fashion. NeurELA is pre-trained over a variety of MetaBBO algorithms using a multi-task neuroevolution strategy. Extensive experiments show that NeurELA achieves consistently superior performance when integrated into different and even unseen MetaBBO tasks and can be efficiently fine-tuned for further performance boost. This advancement marks a pivotal step in making MetaBBO algorithms more autonomous and broadly applicable.The source code of NeurELA can be accessed at https://anonymous.4open.science/r/Neur-ELA-303C.
• Abstract（参考訳）: メタブラックボックス最適化(MetaBBO)の最近の研究によると、メタトレーニングニューラルネットワークはブラックボックスオプティマイザの設計を効果的に導くことができ、専門家のチューニングの必要性を大幅に低減し、複雑な問題分布をまたいだ堅牢なパフォーマンスを実現することができる。 MetaBBOは、低レベルの最適化の進捗について、メタレベルエージェントに通知するために、人造のExploratory Landscape Analysis機能に依存しています。 このギャップに対処するため,本研究では,2段階の注目型ニューラルネットワークを用いて景観特徴を動的にプロファイリングする新しいフレームワークであるNeurELAを提案する。 NeurELAは、マルチタスクの神経進化戦略を用いて、様々なMetaBBOアルゴリズム上で事前訓練されている。 大規模な実験により、NeurELAは様々なMetaBBOタスクに統合された場合、一貫して優れたパフォーマンスを実現し、さらなるパフォーマンス向上のために効率的に微調整できることが示された。 この進歩はMetaBBOアルゴリズムをより自律的で広く適用するための重要なステップであり、NeurELAのソースコードはhttps://anonymous.4open.science/r/Neur-ELA-303Cでアクセスできる。

関連論文リスト

• Toward Automated Algorithm Design: A Survey and Practical Guide to Meta-Black-Box-Optimization [22.902923118981857]
  進化計算(EC)コミュニティの新たな道としてメタブラックボックス最適化(MetaBBO)を導入する。 MetaBBOの成功にもかかわらず、現在の文献は主要な側面の要約が不十分であり、実装に関する実践的なガイダンスが欠如している。
  論文  参考訳（メタデータ） (2024-11-01T14:32:19Z)
• Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
  ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。 本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。 実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。 このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
  論文  参考訳（メタデータ） (2024-10-29T09:23:24Z)
• BEACON: A Bayesian Optimization Strategy for Novelty Search in Expensive Black-Box Systems [1.204357447396532]
  ノベルティ・サーチ (NS) は、シミュレーションや実験を通じて様々なシステムの振る舞いを自動的に発見する探索アルゴリズムのクラスである。 このような高価なブラックボックスシステムに特化して設計されたサンプル効率のNSに対するベイズ最適化法を提案する。 提案手法は,限られたサンプル予算の下で,より大規模な多様な挙動の集合を見出すことにより,既存のNSアルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-05T20:23:52Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。