論文の概要: Mind Mappings: Enabling Efficient Algorithm-Accelerator Mapping Space
Search
- arxiv url: http://arxiv.org/abs/2103.01489v1
- Date: Tue, 2 Mar 2021 06:11:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 15:51:39.887390
- Title: Mind Mappings: Enabling Efficient Algorithm-Accelerator Mapping Space
Search
- Title（参考訳）: マインドマッピング: 効率的なアルゴリズムアクセラレータマッピング空間検索の実現
- Authors: Kartik Hegde, Po-An Tsai, Sitao Huang, Vikas Chandra, Angshuman
Parashar, and Christopher W. Fletcher
- Abstract要約: 本稿では,新しいマインドベースの検索空間を提案する。
微分可能な近似を非滑らかな$optimal 写像空間に導出する。
微分可能な近似により、高バウンド効率なアルゴリズムを比較してマインドベースの検索スキームを見つけることができます。
- 参考スコア（独自算出の注目度）: 7.596028906226877
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern day computing increasingly relies on specialization to satiate growing
performance and efficiency requirements. A core challenge in designing such
specialized hardware architectures is how to perform mapping space search,
i.e., search for an optimal mapping from algorithm to hardware. Prior work
shows that choosing an inefficient mapping can lead to multiplicative-factor
efficiency overheads. Additionally, the search space is not only large but also
non-convex and non-smooth, precluding advanced search techniques. As a result,
previous works are forced to implement mapping space search using expert
choices or sub-optimal search heuristics.
This work proposes Mind Mappings, a novel gradient-based search method for
algorithm-accelerator mapping space search. The key idea is to derive a smooth,
differentiable approximation to the otherwise non-smooth, non-convex search
space. With a smooth, differentiable approximation, we can leverage efficient
gradient-based search algorithms to find high-quality mappings. We extensively
compare Mind Mappings to black-box optimization schemes used in prior work.
When tasked to find mappings for two important workloads (CNN and MTTKRP), the
proposed search finds mappings that achieve an average $1.40\times$,
$1.76\times$, and $1.29\times$ (when run for a fixed number of steps) and
$3.16\times$, $4.19\times$, and $2.90\times$ (when run for a fixed amount of
time) better energy-delay product (EDP) relative to Simulated Annealing,
Genetic Algorithms and Reinforcement Learning, respectively. Meanwhile, Mind
Mappings returns mappings with only $5.32\times$ higher EDP than a possibly
unachievable theoretical lower-bound, indicating proximity to the global
optima.
- Abstract（参考訳）: 現代のコンピューティングは、増大する性能と効率の要求を満たすために、ますます専門化に依存している。
このような特殊なハードウェアアーキテクチャを設計する上でのコアとなる課題は、マッピング空間探索、すなわちアルゴリズムからハードウェアへの最適なマッピングの探索方法である。
以前の研究によると、非効率なマッピングを選択すると、乗算係数の効率のオーバーヘッドが生じる可能性がある。
さらに、検索空間は大きいだけでなく、高度な検索テクニックを前もって非凸かつ非平滑である。
その結果、従来の研究は、専門家の選択や準最適探索ヒューリスティックを用いて、マッピング空間探索を実装することを余儀なくされた。
本研究では,アルゴリズムアクセラレータマッピング空間探索のための新しい勾配に基づく探索手法であるマインドマッピングを提案する。
鍵となるアイデアは、滑らかで微分可能な近似を非滑らかで凸でない探索空間に導出することである。
滑らかで微分可能な近似により、効率的な勾配に基づく探索アルゴリズムを利用して高品質なマッピングを見つけることができる。
我々は、マインドマッピングを事前作業で使用されるブラックボックス最適化スキームと比較する。
2つの重要なワークロード(CNNとMTTKRP)のマッピングを見つけるために、提案された検索は、平均$1.40\times$、$1.76\times$、$1.29\times$(一定数のステップで実行される場合)と$3.16\times$、$4.19\times$、および$2.90\times$(一定の時間で実行される場合)シミュレートアニーリング、遺伝的アルゴリズムおよび強化学習と比較してより良いエネルギー遅延製品(EDP)を達成するマッピングを見つける。
一方、マインドマッピングは理論上の下界よりも高い5.32\times$5.32\timesのマッピングを返す。
関連論文リスト
- SLOPE: Search with Learned Optimal Pruning-based Expansion [2.0618817976970103]
SLOPE(Learned Optimal Pruning-based Expansion)を用いた探索手法を提案する。
ノードの距離を最適経路から学習し、その結果、オープンリストのサイズを小さくする。
これにより、探索は最適な経路に近い領域のみを探索し、メモリと計算コストを削減できる。
論文 参考訳（メタデータ） (2024-06-07T13:42:15Z) - Minuet: Accelerating 3D Sparse Convolutions on GPUs [9.54287796030519]
スパース・コンボリューション(SC)は、本質的にスパースである3Dポイント・クラウドの処理に広く用いられている。
本研究では,従来の最先端のSCエンジンの欠点を分析し,最新のGPUに適した新しいメモリ効率のSCエンジンであるMinuetを提案する。
私たちの評価では、エンド・ツー・エンドのクラウド・ネットワークの実行に対して平均1.74時間(最大22.22時間)で、Minuetは以前のSCエンジンよりも大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2023-12-01T05:09:02Z) - Demystifying Map Space Exploration for NPUs [4.817475305740601]
Map Space Explorationは、Deep Neural Network(DNN)モデルの最適化されたマッピングを見つける問題である。
我々は、異なるマッパーが活用する検索技術について、第一級のリンゴとアプリの比較を行う。
次に,既存のマッパーを拡張できる2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-07T17:58:45Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - Searching a High-Performance Feature Extractor for Text Recognition
Network [92.12492627169108]
優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。
空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。
本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-27T03:49:04Z) - Lazy and Fast Greedy MAP Inference for Determinantal Point Process [17.50810164319995]
本稿では,「怠慢」と「速さ」を両立させる手法について述べる。
我々の遅延で高速な欲求アルゴリズムは、現在の最高のアルゴリズムとほぼ同時期に達成し、実際に高速に動作します。
論文 参考訳（メタデータ） (2022-06-13T07:33:32Z) - Waypoint Planning Networks [66.72790309889432]
本稿では,ローカルカーネル(A*のような古典的アルゴリズム)と学習アルゴリズムを用いたグローバルカーネルを用いたLSTMに基づくハイブリッドアルゴリズムを提案する。
我々は、WPNとA*を比較し、動き計画ネットワーク(MPNet)やバリューネットワーク(VIN)を含む関連する作業と比較する。
WPN の探索空間は A* よりもかなり小さいが、ほぼ最適な結果が得られることが示されている。
論文 参考訳（メタデータ） (2021-05-01T18:02:01Z) - Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search [84.4140192638394]
最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
論文 参考訳（メタデータ） (2021-01-27T12:16:47Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。