論文の概要: Acceleration of Subspace Learning Machine via Particle Swarm
Optimization and Parallel Processing
- arxiv url: http://arxiv.org/abs/2208.07023v1
- Date: Mon, 15 Aug 2022 06:33:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 14:28:13.996315
- Title: Acceleration of Subspace Learning Machine via Particle Swarm
Optimization and Parallel Processing
- Title(参考訳): 粒子群最適化と並列処理による部分空間学習機の高速化
- Authors: Hongyu Fu, Yijing Yang, Yuhuai Liu, Joseph Lin, Ethan Harrison, Vinod
K. Mishra and C.-C. Jay Kuo
- Abstract要約: サブスペース・ラーニング・マシン(SLM)は、一般的な分類および回帰タスクにおいて高い性能を提供するために提案されている。
性能改善は高い計算複雑性を犠牲にして達成される。
実験結果から, 加速SLM法はトレーニング時間で577の高速化率を達成することがわかった。
- 参考スコア(独自算出の注目度): 23.33955958124822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Built upon the decision tree (DT) classification and regression idea, the
subspace learning machine (SLM) has been recently proposed to offer higher
performance in general classification and regression tasks. Its performance
improvement is reached at the expense of higher computational complexity. In
this work, we investigate two ways to accelerate SLM. First, we adopt the
particle swarm optimization (PSO) algorithm to speed up the search of a
discriminant dimension that is expressed as a linear combination of current
dimensions. The search of optimal weights in the linear combination is
computationally heavy. It is accomplished by probabilistic search in original
SLM. The acceleration of SLM by PSO requires 10-20 times fewer iterations.
Second, we leverage parallel processing in the SLM implementation. Experimental
results show that the accelerated SLM method achieves a speed up factor of 577
in training time while maintaining comparable classification/regression
performance of original SLM.
- Abstract(参考訳): 決定木(DT)の分類と回帰の考え方に基づいて、最近SLM(subspace learning machine)が提案され、一般的な分類と回帰タスクにおいて高い性能を提供する。
その性能改善は高い計算複雑性を犠牲にして達成される。
本研究では,SLMを加速する2つの方法を検討する。
まず、粒子群最適化(PSO)アルゴリズムを用いて、電流次元の線形結合として表現される判別次元の探索を高速化する。
線形結合における最適重量の探索は計算的に重い。
元のSLMにおける確率探索によって達成される。
PSOによるSLMの加速には10~20倍のイテレーションが必要である。
次に、slm実装で並列処理を利用する。
実験結果から,加速SLM法はトレーニング時間の577倍の高速化を実現し,従来のSLMと同等の分類/回帰性能を維持した。
関連論文リスト
- An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - Performance Embeddings: A Similarity-based Approach to Automatic
Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。
本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文 参考訳(メタデータ) (2023-03-14T15:51:35Z) - M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast
Self-Adaptation [145.7321032755538]
L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。
本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
論文 参考訳(メタデータ) (2023-02-28T19:23:20Z) - Learning to Schedule Heuristics for the Simultaneous Stochastic
Optimization of Mining Complexes [2.538209532048867]
提案したL2P(Learning-to-perturb)ハイパーヒューリスティックは,マルチ隣り合うシミュレートアニールアルゴリズムである。
L2Pは、効率、堅牢性、一般化能力に重点を置いて、いくつかの実世界の鉱業施設で試験されている。
その結果,反復回数を30~50%削減し,計算時間を30~45%削減した。
論文 参考訳(メタデータ) (2022-02-25T18:20:14Z) - Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing [49.73889315176884]
本稿では、実行時の複雑さをアクション数にサブリニアに持つ最初の証明可能なLeast-Squares Value Iteration(LSVI)アルゴリズムを提示する。
我々は, 近似最大内積探索理論と強化学習の後悔分析との関係を構築する。
論文 参考訳(メタデータ) (2021-05-18T05:23:53Z) - FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for
Sentence Matching [5.652294014986704]
FILM(Fast, Interpretable, Low-rank Metric Learning)を導入し,高次元データの高識別性投影を効率的に行う。
実験では,Quora Challenge and Semantic Textual similarity (STS) Taskに適用した。
その結果, FILM法は高速な計算速度だけでなく, 優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2020-10-12T08:24:41Z) - Feature Whitening via Gradient Transformation for Improved Convergence [3.5579740292581]
機能白化の複雑さの欠点に対処する。
サンプル変換を重み勾配への変換によって置き換える等価な手法をBサンプルの各バッチに適用する。
CIFAR と Imagenet データセットで実証された画像分類のためのResNet ベースのネットワークを用いて提案アルゴリズムを例示する。
論文 参考訳(メタデータ) (2020-10-04T11:30:20Z) - Towards Understanding Label Smoothing [36.54164997035046]
ラベルスムーズな正規化(LSR)は、トレーニングアルゴリズムによるディープニューラルネットワークにおいて大きな成功を収めている。
適切なLSRが分散を減少させることで収束を加速することを示す。
本稿では,TSLA(Two-Stage LAbel smoothing algorithm)を提案する。
論文 参考訳(メタデータ) (2020-06-20T20:36:17Z) - Convergence of Meta-Learning with Task-Specific Adaptation over Partial
Parameters [152.03852111442114]
モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。
本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
論文 参考訳(メタデータ) (2020-06-16T19:57:48Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳(メタデータ) (2020-02-10T10:11:31Z) - SLM Lab: A Comprehensive Benchmark and Modular Software Framework for
Reproducible Deep Reinforcement Learning [8.830479021890575]
再現性強化学習(RL)研究のためのソフトウェアフレームワークであるSLM Labを紹介する。
SLM Labは多くのRLアルゴリズムを実装し、同期および非同期並列実験実行を提供する。
本研究では、SLM Labの設計選択を提示し、それを総合的な単一コードベースRLアルゴリズムベンチマークを作成するために利用する。
論文 参考訳(メタデータ) (2019-12-28T16:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。