論文の概要: Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning

• arxiv url: http://arxiv.org/abs/2501.15661v1
• Date: Sun, 26 Jan 2025 19:49:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 14:00:08.870871
• Title: Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning
• Title（参考訳）: 確率論的ニューラルネットワーク学習のための制約付きハイブリッドメタヒューリスティックアルゴリズム
• Authors: Piotr A. Kowalski, Szymon Kucharczyk, Jacek Mańdziuk,
• Abstract要約: 本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。 勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。 本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.3686808512438362
• License:
• Abstract: This study investigates the potential of hybrid metaheuristic algorithms to enhance the training of Probabilistic Neural Networks (PNNs) by leveraging the complementary strengths of multiple optimisation strategies. Traditional learning methods, such as gradient-based approaches, often struggle to optimise high-dimensional and uncertain environments, while single-method metaheuristics may fail to exploit the solution space fully. To address these challenges, we propose the constrained Hybrid Metaheuristic (cHM) algorithm, a novel approach that combines multiple population-based optimisation techniques into a unified framework. The proposed procedure operates in two phases: an initial probing phase evaluates multiple metaheuristics to identify the best-performing one based on the error rate, followed by a fitting phase where the selected metaheuristic refines the PNN to achieve optimal smoothing parameters. This iterative process ensures efficient exploration and convergence, enhancing the network's generalisation and classification accuracy. cHM integrates several popular metaheuristics, such as BAT, Simulated Annealing, Flower Pollination Algorithm, Bacterial Foraging Optimization, and Particle Swarm Optimisation as internal optimisers. To evaluate cHM performance, experiments were conducted on 16 datasets with varying characteristics, including binary and multiclass classification tasks, balanced and imbalanced class distributions, and diverse feature dimensions. The results demonstrate that cHM effectively combines the strengths of individual metaheuristics, leading to faster convergence and more robust learning. By optimising the smoothing parameters of PNNs, the proposed method enhances classification performance across diverse datasets, proving its application flexibility and efficiency.
• Abstract（参考訳）: 本研究では,複数最適化戦略の相補的強みを利用して,確率的ニューラルネットワーク(PNN)のトレーニングを強化するハイブリッドメタヒューリスティックアルゴリズムの可能性を検討する。 勾配に基づくアプローチのような伝統的な学習手法は、高次元で不確実な環境を最適化するのにしばしば苦労するが、一方単層メタヒューリスティックスは解空間を完全に活用することができない。 これらの課題に対処するために,複数の集団に基づく最適化手法を統一的なフレームワークに組み合わせた,制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。 提案手法は,複数のメタヒューリスティックを推定し,誤差率に基づいて最適性能のメタヒューリスティックを同定し,次いで選択したメタヒューリスティックがPNNを洗練して最適な平滑化パラメータを達成できる適合相を推定する。 この反復的なプロセスにより、効率的な探索と収束が保証され、ネットワークの一般化と分類精度が向上する。 cHMは、BAT、Simulated Annealing、Flower Pollination Algorithm、Bacterial Foraging Optimization、Particle Swarm Optimizationなどの一般的なメタヒューリスティックを内部オプティマイザとして統合している。 cHMの性能を評価するために,2次・複数クラス分類タスク,バランスの取れたクラス分布と不均衡なクラス分布,多様な特徴次元を含む16のデータセットを用いて実験を行った。 その結果、cHMは個々のメタヒューリスティックスの強みを効果的に組み合わせ、より高速な収束とより堅牢な学習をもたらすことが示された。 PNNのスムーズなパラメータを最適化することにより、様々なデータセットの分類性能を高め、そのアプリケーションの柔軟性と効率性を証明する。

関連論文リスト

• Integrating Chaotic Evolutionary and Local Search Techniques in Decision Space for Enhanced Evolutionary Multi-Objective Optimization [1.8130068086063336]
  本稿では,SOMMOP(Single-Objective Multi-Modal Optimization)とMOO(Multi-Objective Optimization)の両方に焦点を当てる。 SOMMOPではニッチ技術とカオス進化を統合し,ガウス突然変異を併用したパーシスタンス・クラスタリングを行った。 MOOでは,これらの手法を不確実性に基づく選択,適応的チューニングを組み込んだ包括的フレームワークに拡張し,決定論的群集に半径(R)の概念を導入する。
  論文  参考訳（メタデータ） (2024-11-12T15:18:48Z)
• Enhancing CNN Classification with Lamarckian Memetic Algorithms and Local Search [0.0]
  そこで本研究では,局所探索機能を組み込んだ2段階学習手法と集団最適化アルゴリズムを併用した新しい手法を提案する。 実験の結果,提案手法は最先端の勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-26T17:31:15Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms [0.0]
  本研究では、ランダムフォレスト(RF)、グラディエントブースティング(GB)、サポートベクトルマシン(SVM)といった従来の機械学習アルゴリズムと相乗的に統合することにより、ベイズニューラルネットワーク(BNN)を最適化する新しい手法を提案する。 特徴積分は、ヘッセン行列の定常性や正定性を含む最適性に対する二階条件を強調することによってこれらの結果を固化する。 全体として、アンサンブル法は堅牢でアルゴリズム的に最適化されたアプローチとして際立っている。
  論文  参考訳（メタデータ） (2023-10-09T06:59:17Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Distributed Evolution Strategies for Black-box Stochastic Optimization [42.90600124972943]
  この研究は、分散ブラックボックス最適化への進化的アプローチに関するものである。 各作業者は、アルゴリズムによる問題の近似を個別に解くことができる。 問題のロバスト性を大幅に改善する2つの代替シミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T11:18:41Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。