論文の概要: Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
- arxiv url: http://arxiv.org/abs/2406.10166v1
- Date: Fri, 14 Jun 2024 16:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 12:46:51.835379
- Title: Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
- Title（参考訳）: Misam: Sparse-Sparse Matrix Multiplicationのデータフロー選択にMLを使用する
- Authors: Sanjali Yadav, Bahar Asgari,
- Abstract要約: スパース行列行列行列乗法(SpGEMM)は、科学計算、グラフ解析、ディープラーニングにおいて重要な演算である。
従来のハードウェアアクセラレータは、固定されたデータフロースキームを備えた特定のスパーシティパターン用に調整されている。
本稿では,SpGEMMタスクに最適なデータフロースキームを適応的に選択するための機械学習に基づくアプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.8363939984237685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse matrix-matrix multiplication (SpGEMM) is a critical operation in numerous fields, including scientific computing, graph analytics, and deep learning. These applications exploit the sparsity of matrices to reduce storage and computational demands. However, the irregular structure of sparse matrices poses significant challenges for performance optimization. Traditional hardware accelerators are tailored for specific sparsity patterns with fixed dataflow schemes - inner, outer, and row-wise but often perform suboptimally when the actual sparsity deviates from these predetermined patterns. As the use of SpGEMM expands across various domains, each with distinct sparsity characteristics, the demand for hardware accelerators that can efficiently handle a range of sparsity patterns is increasing. This paper presents a machine learning based approach for adaptively selecting the most appropriate dataflow scheme for SpGEMM tasks with diverse sparsity patterns. By employing decision trees and deep reinforcement learning, we explore the potential of these techniques to surpass heuristic-based methods in identifying optimal dataflow schemes. We evaluate our models by comparing their performance with that of a heuristic, highlighting the strengths and weaknesses of each approach. Our findings suggest that using machine learning for dynamic dataflow selection in hardware accelerators can provide upto 28 times gains.
- Abstract（参考訳）: スパース行列行列行列乗法(SpGEMM)は、科学計算、グラフ解析、ディープラーニングを含む多くの分野において重要な演算である。
これらのアプリケーションは、ストレージと計算要求を減らすために行列の幅を利用する。
しかし、スパース行列の不規則な構造は、性能最適化に重大な課題をもたらす。
従来のハードウェアアクセラレータは、内部、外部、および行単位で固定されたデータフロースキームを持つ特定のスパーシティパターン用に調整されているが、実際のスパーシティがこれらの所定のパターンから逸脱したときには、過度に実行することが多い。
様々な領域にまたがってSpGEMMの利用が拡大するにつれて、様々な空間パターンを効率的に扱えるハードウェアアクセラレーターの需要が高まっている。
本稿では,SpGEMMタスクに最適なデータフロースキームを適応的に選択する機械学習手法を提案する。
決定木と深層強化学習を用いることで、最適なデータフロースキームを特定するためのヒューリスティックな手法を超える可能性を探る。
それらのモデルとヒューリスティックなモデルを比較し、それぞれのアプローチの長所と短所を強調して評価する。
ハードウェアアクセラレーターにおける動的データフロー選択に機械学習を用いることで、最大28倍のゲインが得られることが示唆された。
関連論文リスト
- Machine Learning Optimized Approach for Parameter Selection in MESHFREE Simulations [0.0]
従来のメッシュベースのアプローチに代わる魅力的な代替手段として、メッシュフリーシミュレーション手法が登場している。
機械学習(ML)とFraunhoferのMESHFREEソフトウェアを組み合わせた研究の概要について概説する。
本稿では,MESHFREEシミュレーションデータに能動的学習,回帰木を用いたML最適化手法を提案する。
論文 参考訳（メタデータ） (2024-03-20T15:29:59Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Enhancing Pattern Classification in Support Vector Machines through
Matrix Formulation [0.0]
既存のSVMベースのモデルにおけるベクトルベースの定式化への依存は、柔軟性と、特定の問題に対処するために追加用語を組み込むことの容易さに関する制限を生じさせる。
我々はこれらの制約を効果的に解決するSVMの行列定式化を導入する。
マルチラベルおよびマルチクラスデータセットの実験的評価は、Matrix SVMがより優れた時間効率を実現することを示す。
論文 参考訳（メタデータ） (2023-07-18T15:56:39Z) - Performance Embeddings: A Similarity-based Approach to Automatic
Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。
本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文 参考訳（メタデータ） (2023-03-14T15:51:35Z) - A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。
このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
論文 参考訳（メタデータ） (2023-02-06T23:34:51Z) - Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian
Mixture Model [3.4546761246181696]
ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。
我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
論文 参考訳（メタデータ） (2022-12-11T04:24:52Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2022-09-29T18:11:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳（メタデータ） (2022-03-25T17:13:08Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:42:46Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。