論文の概要: Investigating Hyperparameter Optimization and Transferability for ES-HyperNEAT: A TPE Approach

• arxiv url: http://arxiv.org/abs/2609.00449v2
• Date: Wed, 09 Sep 2026 13:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 15:10:00.831676
• Title: Investigating Hyperparameter Optimization and Transferability for ES-HyperNEAT: A TPE Approach
• Title（参考訳）: TPEアプローチによるES-HyperNEATのハイパーパラメータ最適化と転送性の検討
• Authors: Romain Claret, Michael O'Neill, Paul Cotofrei, Kilian Stoffel,
• Abstract要約: 木構造型Parzen Estimator (TPE) は、30億以上の潜在的組み合わせからなる探索空間を探索するために用いられる。 TPEは、この広大な空間を効果的にナビゲートし、平均、中央値、そして最高の精度でランダム検索を著しく上回っている。
• 参考スコア（独自算出の注目度）: 0.4899818550820576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuroevolution of Augmenting Topologies (NEAT) and its advanced version, Evolvable-Substrate HyperNEAT (ES-HyperNEAT), have shown great potential in developing neural networks. However, their effectiveness heavily depends on the selection of hyperparameters. This study investigates the optimization of ES-HyperNEAT hyperparameters using the Tree-structured Parzen Estimator (TPE) on the MNIST classification task, exploring a search space of over 3 billion potential combinations. TPE effectively navigates this vast space, significantly outperforming random search in terms of mean, median, and best accuracy. During the validation process, the best hyperparameter configuration found by TPE achieves an accuracy of 29.00% on MNIST, surpassing previous studies while using a smaller population size and fewer generations. The transferability of the optimized hyperparameters is explored in logic operations and Fashion-MNIST tasks, revealing successful transfer to the more complex Fashion-MNIST problem but limited to simpler logic operations. This study emphasizes a method to unlock the full potential of neuroevolutionary algorithms and provides insights into the hyperparameters' transferability across tasks of varying complexity.
• Abstract（参考訳）: Evolvable-Substrate HyperNEAT(ES-HyperNEAT)は、ニューラルネットワークの開発において大きな可能性を秘めている。 しかし、その効果はハイパーパラメータの選択に大きく依存する。 本研究では,MNIST分類タスクにおける木構造パーゼン推定器(TPE)を用いたES-HyperNEATハイパーパラメータの最適化について検討し,30億以上の潜在的組み合わせの探索空間を探索する。 TPEは、この広大な空間を効果的にナビゲートし、平均、中央値、そして最高の精度でランダム検索を著しく上回っている。 検証プロセスの間、TPEが発見した最も優れたハイパーパラメータ構成は、MNISTで29.00%の精度を達成し、より少ない個体数と少ない世代で以前の研究を上回った。 最適化されたハイパーパラメータの転送性は、論理演算とFashion-MNISTタスクで検討され、より複雑なFashion-MNIST問題への転送に成功したが、より単純な論理演算に制限された。 本研究は、神経進化アルゴリズムの全潜在能力を解き放つ方法を強調し、様々な複雑さのタスク間でのハイパーパラメーターの移動可能性に関する洞察を提供する。

関連論文リスト

• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。