論文の概要: A GPU Implementation of Multi-Guiding Spark Fireworks Algorithm for Efficient Black-Box Neural Network Optimization

• arxiv url: http://arxiv.org/abs/2501.03944v1
• Date: Tue, 07 Jan 2025 17:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:30.882708
• Title: A GPU Implementation of Multi-Guiding Spark Fireworks Algorithm for Efficient Black-Box Neural Network Optimization
• Title（参考訳）: 効率的なブラックボックスニューラルネットワーク最適化のためのマルチガイド火花火アルゴリズムのGPUによる実装
• Authors: Xiangrui Meng, Ying Tan,
• Abstract要約: 本稿では,Multi-Guiding Spark Fireworks Algorithm (MGFWA)のGPU高速化版を提案する。 スピードとソリューションの品質の両方において、その優れた性能を示します。 提案した実装は、Swarmインテリジェンスアルゴリズムを高速化するための有望なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 2.9608128305931825
• License:
• Abstract: Swarm intelligence optimization algorithms have gained significant attention due to their ability to solve complex optimization problems. However, the efficiency of optimization in large-scale problems limits the use of related methods. This paper presents a GPU-accelerated version of the Multi-Guiding Spark Fireworks Algorithm (MGFWA), which significantly improves the computational efficiency compared to its traditional CPU-based counterpart. We benchmark the GPU-MGFWA on several neural network black-box optimization problems and demonstrate its superior performance in terms of both speed and solution quality. By leveraging the parallel processing power of modern GPUs, the proposed GPU-MGFWA results in faster convergence and reduced computation time for large-scale optimization tasks. The proposed implementation offers a promising approach to accelerate swarm intelligence algorithms, making them more suitable for real-time applications and large-scale industrial problems. Source code is released at https://github.com/mxxxr/MGFWA.
• Abstract（参考訳）: スワームインテリジェンス最適化アルゴリズムは、複雑な最適化問題を解く能力から注目されている。 しかし、大規模問題における最適化の効率は、関連する方法の使用を制限する。 本稿では,Multi-Guiding Spark Fireworks Algorithm (MGFWA) のGPU高速化版を提案する。 ニューラルネットワークのブラックボックス最適化問題に対して,GPU-MGFWAをベンチマークし,速度とソリューション品質の両面で優れた性能を示す。 最新のGPUの並列処理能力を利用することで、提案したGPU-MGFWAはより高速な収束と大規模最適化タスクの計算時間を短縮する。 提案した実装は、Swarmインテリジェンスアルゴリズムを高速化するための有望なアプローチを提供し、リアルタイムアプリケーションや大規模産業問題により適している。 ソースコードはhttps://github.com/mxxxr/MGFWAで公開されている。

関連論文リスト

• HOBOTAN: Efficient Higher Order Binary Optimization Solver with Tensor Networks and PyTorch [0.0]
  高次二項最適化(HOBO)のための新しい解法である HoOBOTAN を紹介する。 HOBOTANはCPUとGPUの両方をサポートし、GPUバージョンはPyTorchをベースに開発され、高速でスケーラブルなシステムを提供している。 本稿では,HOBOTANの設計,実装,性能評価,拡張性について述べる。
  論文  参考訳（メタデータ） (2024-07-29T13:20:11Z)
• GPU Based Differential Evolution: New Insights and Comparative Study [7.5961910202572644]
  この研究は、GPUベースの微分進化アルゴリズムの文献における主要なアーキテクチャ選択についてレビューする。 新しいGPUベースの数値最適化ベンチマークを導入し、GPUベースのDEMアルゴリズムを評価し比較する。
  論文  参考訳（メタデータ） (2024-05-26T12:40:39Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Implementation of Parallel Simplified Swarm Optimization in CUDA [2.322689362836168]
  最適化コンピューティングでは、インテリジェントなSwarmアルゴリズム(SIAs)が並列化に適している。 本稿では,計算能力と汎用性を考慮したGPUに基づくSimplified Swarm Algorithm Optimization (PSSO)を提案する。 結果から,Nの次数による時間複雑性の低減が達成され,資源プリエンプションの問題は完全に回避された。
  論文  参考訳（メタデータ） (2021-10-01T00:15:45Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms [1.246150324257064]
  ブラックボックス最適化アルゴリズムの単純なアンサンブルは,どのアルゴリズムよりも優れていることを示す。 本稿では,最適アンサンブルのブラト力探索を高速化するマルチGPU最適化フレームワークを提案する。 我々は、270万のモデルをトレーニングし、541,440の最適化を実行することで15を評価した。
  論文  参考訳（メタデータ） (2020-12-08T04:10:35Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
  ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。 私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。 これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-19T05:21:20Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。