論文の概要: Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA

• arxiv url: http://arxiv.org/abs/2009.01431v1
• Date: Thu, 3 Sep 2020 03:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 08:11:55.381842
• Title: Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA
• Title（参考訳）: FPGAを用いたオンライン決定木学習の効率的かつスケーラブルな高速化に向けて
• Authors: Zhe Lin, Sharad Sinha, Wei Zhang
• Abstract要約: ビッグデータの時代において、従来の決定木誘導アルゴリズムは大規模なデータセットを学習するのに適していない。 本稿では,現在最先端のオンライン学習モデルの1つであるHoeffdingツリーの帰納化を改善するために,新しいQuantileベースのアルゴリズムを提案する。 フィールドプログラミング可能なゲートアレイ上に,高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムを提案する。
• 参考スコア（独自算出の注目度）: 20.487660974785943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees are machine learning models commonly used in various application scenarios. In the era of big data, traditional decision tree induction algorithms are not suitable for learning large-scale datasets due to their stringent data storage requirement. Online decision tree learning algorithms have been devised to tackle this problem by concurrently training with incoming samples and providing inference results. However, even the most up-to-date online tree learning algorithms still suffer from either high memory usage or high computational intensity with dependency and long latency, making them challenging to implement in hardware. To overcome these difficulties, we introduce a new quantile-based algorithm to improve the induction of the Hoeffding tree, one of the state-of-the-art online learning models. The proposed algorithm is light-weight in terms of both memory and computational demand, while still maintaining high generalization ability. A series of optimization techniques dedicated to the proposed algorithm have been investigated from the hardware perspective, including coarse-grained and fine-grained parallelism, dynamic and memory-based resource sharing, pipelining with data forwarding. We further present a high-performance, hardware-efficient and scalable online decision tree learning system on a field-programmable gate array (FPGA) with system-level optimization techniques. Experimental results show that our proposed algorithm outperforms the state-of-the-art Hoeffding tree learning method, leading to 0.05% to 12.3% improvement in inference accuracy. Real implementation of the complete learning system on the FPGA demonstrates a 384x to 1581x speedup in execution time over the state-of-the-art design.
• Abstract（参考訳）: 決定木(decision tree)は、さまざまなアプリケーションシナリオで一般的に使用される機械学習モデルである。 ビッグデータの時代において、従来の決定木誘導アルゴリズムは、厳密なデータストレージ要件のため、大規模データセットの学習には適していない。 オンライン決定木学習アルゴリズムは、入ってくるサンプルとの同時トレーニングと推論結果の提供により、この問題に対処するために考案された。 しかし、最新のオンラインツリー学習アルゴリズムでさえも、高いメモリ使用率と高い計算強度と依存性と長いレイテンシに苦しむため、ハードウェアでの実装は困難である。 これらの課題を克服するため,我々は,最先端のオンライン学習モデルの1つであるhoeffding treeの誘導を改善するために,quantileベースの新しいアルゴリズムを導入する。 提案アルゴリズムは,高一般化能力を維持しつつ,メモリ需要と計算需要の両方の観点から軽量である。 提案アルゴリズム専用の最適化手法をハードウェアの観点から検討し, 粗粒度, 微細粒度並列性, 動的およびメモリベースのリソース共有, データ転送によるパイプライン化などを検討した。 さらに,フィールドプログラマブルゲートアレイ(FPGA)上に,システムレベルの最適化手法を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムを提案する。 実験の結果,提案アルゴリズムは最先端のHoeffding木学習法より優れており,推定精度は0.05%から12.3%向上した。 FPGA上の完全学習システムの実際の実装は、最先端の設計よりも実行時間の384倍から1581倍の高速化を示している。

関連論文リスト

• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Benchmarking Processor Performance by Multi-Threaded Machine Learning Algorithms [0.0]
  本稿では,マルチスレッド機械学習クラスタリングアルゴリズムの性能比較を行う。 私は、アルゴリズムのパフォーマンス特性を決定するために、線形回帰、ランダムフォレスト、K-Nearest Neighborsに取り組んでいます。
  論文  参考訳（メタデータ） (2021-09-11T13:26:58Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and System [17.55491405857204]
  ビッグデータの時代、従来の決定木誘導アルゴリズムは大規模なデータセットの学習には適していません。 最先端のオンライン学習モデルの1つであるHoeffdingツリーの誘導を改善するための新しい量子化ベースのアルゴリズムを紹介します。 本稿では,フィールドプログラマブルゲートアレイ(FPGA)上に,システムレベルの最適化手法を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムであるHard-ODTを提案する。
  論文  参考訳（メタデータ） (2020-12-11T12:06:44Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。