論文の概要: Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and System

• arxiv url: http://arxiv.org/abs/2012.06272v1
• Date: Fri, 11 Dec 2020 12:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 02:50:46.490212
• Title: Hard-ODT: Hardware-Friendly Online Decision Tree Learning Algorithm and System
• Title（参考訳）: Hard-ODT:ハードウェアフレンドリーなオンライン決定木学習アルゴリズムとシステム
• Authors: Zhe Lin, Sharad Sinha, Wei Zhang
• Abstract要約: ビッグデータの時代、従来の決定木誘導アルゴリズムは大規模なデータセットの学習には適していません。 最先端のオンライン学習モデルの1つであるHoeffdingツリーの誘導を改善するための新しい量子化ベースのアルゴリズムを紹介します。 本稿では,フィールドプログラマブルゲートアレイ(FPGA)上に,システムレベルの最適化手法を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムであるHard-ODTを提案する。
• 参考スコア（独自算出の注目度）: 17.55491405857204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees are machine learning models commonly used in various application scenarios. In the era of big data, traditional decision tree induction algorithms are not suitable for learning large-scale datasets due to their stringent data storage requirement. Online decision tree learning algorithms have been devised to tackle this problem by concurrently training with incoming samples and providing inference results. However, even the most up-to-date online tree learning algorithms still suffer from either high memory usage or high computational intensity with dependency and long latency, making them challenging to implement in hardware. To overcome these difficulties, we introduce a new quantile-based algorithm to improve the induction of the Hoeffding tree, one of the state-of-the-art online learning models. The proposed algorithm is light-weight in terms of both memory and computational demand, while still maintaining high generalization ability. A series of optimization techniques dedicated to the proposed algorithm have been investigated from the hardware perspective, including coarse-grained and fine-grained parallelism, dynamic and memory-based resource sharing, pipelining with data forwarding. Following this, we present Hard-ODT, a high-performance, hardware-efficient and scalable online decision tree learning system on a field-programmable gate array (FPGA) with system-level optimization techniques. Performance and resource utilization are modeled for the complete learning system for early and fast analysis of the trade-off between various design metrics. Finally, we propose a design flow in which the proposed learning system is applied to FPGA run-time power monitoring as a case study.
• Abstract（参考訳）: 決定木(decision tree)は、さまざまなアプリケーションシナリオで一般的に使用される機械学習モデルである。 ビッグデータの時代において、従来の決定木誘導アルゴリズムは、厳密なデータストレージ要件のため、大規模データセットの学習には適していない。 オンライン決定木学習アルゴリズムは、入ってくるサンプルとの同時トレーニングと推論結果の提供により、この問題に対処するために考案された。 しかし、最新のオンラインツリー学習アルゴリズムでさえも、高いメモリ使用率と高い計算強度と依存性と長いレイテンシに苦しむため、ハードウェアでの実装は困難である。 これらの課題を克服するため,我々は,最先端のオンライン学習モデルの1つであるhoeffding treeの誘導を改善するために,quantileベースの新しいアルゴリズムを導入する。 提案アルゴリズムは,高一般化能力を維持しつつ,メモリ需要と計算需要の両方の観点から軽量である。 提案アルゴリズム専用の最適化手法をハードウェアの観点から検討し, 粗粒度, 微細粒度並列性, 動的およびメモリベースのリソース共有, データ転送によるパイプライン化などを検討した。 次に,フィールドプログラマブルゲートアレイ(FPGA)を用いた高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムであるHard-ODTについて述べる。 各種設計指標間のトレードオフを早期かつ迅速に解析するための完全学習システムとして,性能と資源利用をモデル化する。 最後に,FPGAのランタイム電力モニタリングに提案した学習システムを応用した設計フローを提案する。

関連論文リスト

• Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics [10.22111332588471]
  本稿では,その利点を生かした,新しい記号的最適化学習フレームワークを提案する。 Dso4NSは高次元離散記号空間内の数学的表現の探索をガイドし、最高性能の数学的表現を解法に組み込む。 実験では、Dso4NSが高品質な表現の学習に有効であることを示し、CPUマシンにおける既存のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-06-14T06:02:14Z)
• Edge Intelligence Optimization for Large Language Model Inference with Batching and Quantization [20.631476379056892]
  大規模言語モデル(LLM)がこの運動の最前線にある。 LLMはクラウドホスティングを必要とするため、プライバシやレイテンシ、使用制限に関する問題が発生する。 LLM推論に適したエッジインテリジェンス最適化問題を提案する。
  論文  参考訳（メタデータ） (2024-05-12T02:38:58Z)
• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Ranking Cost: Building An Efficient and Scalable Circuit Routing Planner with Evolution-Based Optimization [49.207538634692916]
  そこで我々は、効率よくトレーニング可能なルータを形成するための新しい回路ルーティングアルゴリズム、Randing Costを提案する。 提案手法では,A*ルータが適切な経路を見つけるのに役立つコストマップと呼ばれる新しい変数群を導入する。 我々のアルゴリズムはエンドツーエンドで訓練されており、人工データや人間の実演は一切使用しない。
  論文  参考訳（メタデータ） (2021-10-08T07:22:45Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Towards Efficient and Scalable Acceleration of Online Decision Tree Learning on FPGA [20.487660974785943]
  ビッグデータの時代において、従来の決定木誘導アルゴリズムは大規模なデータセットを学習するのに適していない。 本稿では,現在最先端のオンライン学習モデルの1つであるHoeffdingツリーの帰納化を改善するために,新しいQuantileベースのアルゴリズムを提案する。 フィールドプログラミング可能なゲートアレイ上に,高性能,ハードウェア効率,スケーラブルなオンライン決定木学習システムを提案する。
  論文  参考訳（メタデータ） (2020-09-03T03:23:43Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。