論文の概要: Accelerating Genetic Programming using GPUs

• arxiv url: http://arxiv.org/abs/2110.11226v1
• Date: Fri, 15 Oct 2021 06:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 12:04:42.443934
• Title: Accelerating Genetic Programming using GPUs
• Title（参考訳）: GPUを用いた遺伝的プログラミングの高速化
• Authors: Vimarsh Sathia (1), Venkataramana Ganesh (2), Shankara Rao Thejaswi Nanditale (2) ((1) Indian Institute of Technology Madras, (2) NVIDIA Corporation)
• Abstract要約: 遺伝的プログラミング(GP)は、曲線フィッティング、データモデリング、特徴選択、分類など、機械学習に複数の応用がある。 本稿では,代用GPアルゴリズムのGPUアクセラレーションスタックに基づく変種について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Genetic Programming (GP), an evolutionary learning technique, has multiple applications in machine learning such as curve fitting, data modelling, feature selection, classification etc. GP has several inherent parallel steps, making it an ideal candidate for GPU based parallelization. This paper describes a GPU accelerated stack-based variant of the generational GP algorithm which can be used for symbolic regression and binary classification. The selection and evaluation steps of the generational GP algorithm are parallelized using CUDA. We introduce representing candidate solution expressions as prefix lists, which enables evaluation using a fixed-length stack in GPU memory. CUDA based matrix vector operations are also used for computation of the fitness of population programs. We evaluate our algorithm on synthetic datasets for the Pagie Polynomial (ranging in size from $4096$ to $16$ million points), profiling training times of our algorithm with other standard symbolic regression libraries viz. gplearn, TensorGP and KarooGP. In addition, using $6$ large-scale regression and classification datasets usually used for comparing gradient boosting algorithms, we run performance benchmarks on our algorithm and gplearn, profiling the training time, test accuracy, and loss. On an NVIDIA DGX-A100 GPU, our algorithm outperforms all the previously listed frameworks, and in particular, achieves average speedups of $119\times$ and $40\times$ against gplearn on the synthetic and large scale datasets respectively.
• Abstract（参考訳）: 進化的学習技術である遺伝的プログラミング(GP)は、曲線フィッティング、データモデリング、特徴選択、分類などの機械学習に複数の応用がある。 GPにはいくつかの固有の並列ステップがあり、GPUベースの並列化の理想的な候補となっている。 本稿では,代用GPアルゴリズムのGPUアクセラレーションスタックに基づく変種について述べる。 生成GPアルゴリズムの選択と評価はCUDAを用いて並列化される。 本稿では,GPUメモリの固定長スタックを用いた評価が可能なプレフィックスリストとして,候補解表現を提案する。 CUDAベースの行列ベクトル演算は、集団プログラムの適合性の計算にも用いられる。 提案アルゴリズムは,Pagie Polynomialの合成データセット(4096ドルから$16$M)を用いて,他の標準記号回帰ライブラリであるgplearn,TensorGP,KarooGPを用いて,アルゴリズムのトレーニング時間をプロファイリングする。 さらに、勾配向上アルゴリズムの比較に使用される6ドルの大規模回帰と分類データセットを使用して、アルゴリズムとgplearnのパフォーマンスベンチマークを実行し、トレーニング時間、テスト精度、損失をプロファイリングします。 NVIDIA DGX-A100 GPUでは、我々のアルゴリズムは、前述のすべてのフレームワークより優れており、特に、合成データセットと大規模データセットでそれぞれ119\times$と40\times$の平均的なスピードアップを達成する。

関連論文リスト

• Implementation and Analysis of GPU Algorithms for Vecchia Approximation [0.8057006406834466]
  Vecchia Approximationは計算複雑性を減らすために広く使われており、恥ずかしい並列アルゴリズムで計算することができる。 Vecchia Approximationのためにマルチコアソフトウェアが開発されたが、グラフィックス処理ユニット(GPU)上で動作するように設計されたソフトウェアは不足している。 我々の新しい手法は他の2つより優れており、GpGpU Rパッケージに表示されます。
  論文  参考訳（メタデータ） (2024-07-03T01:24:44Z)
• Large-Scale Gaussian Processes via Alternating Projection [23.79090469387859]
  本稿では,カーネル行列のサブブロックのみにアクセスする反復的手法を提案する。 我々のアルゴリズムは、交互プロジェクションに基づくもので、GPを非常に大きなデータセットにスケールするという現実的な課題の多くを解決し、各イテレーション時間と空間の複雑さを$mathcalO(n)で解決している。
  論文  参考訳（メタデータ） (2023-10-26T04:20:36Z)
• Local Optimization Often is Ill-conditioned in Genetic Programming for Symbolic Regression [0.0]
  NLSヤコビ行列の特異値分解を用いて、数値階数と条件数を決定する。 以上の結果から,ランク不足および不条件ヤコビ行列は全データセットに対して頻繁に発生することが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-02T10:39:26Z)
• Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR) [0.0]
  本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。 ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。 ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
  論文  参考訳（メタデータ） (2022-06-21T18:00:01Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。