論文の概要: AIRCHITECT v2: Learning the Hardware Accelerator Design Space through Unified Representations

• arxiv url: http://arxiv.org/abs/2501.09954v1
• Date: Fri, 17 Jan 2025 04:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:10.927866
• Title: AIRCHITECT v2: Learning the Hardware Accelerator Design Space through Unified Representations
• Title（参考訳）: AIRCHITECT v2: 統一表現によるハードウェアアクセラレータ設計空間の学習
• Authors: Jamin Seo, Akshat Ramachandran, Yu-Chuan Chuang, Anirudh Itagi, Tushar Krishna,
• Abstract要約: 設計空間探索は、カスタムハードウェアアーキテクチャの実現において重要な役割を果たす。 最近のAIrchitect v1は、DSEの限界を検索時間分類問題に対処する最初の試みである。
• 参考スコア（独自算出の注目度）: 3.6231171463908938
• License:
• Abstract: Design space exploration (DSE) plays a crucial role in enabling custom hardware architectures, particularly for emerging applications like AI, where optimized and specialized designs are essential. With the growing complexity of deep neural networks (DNNs) and the introduction of advanced foundational models (FMs), the design space for DNN accelerators is expanding at an exponential rate. Additionally, this space is highly non-uniform and non-convex, making it increasingly difficult to navigate and optimize. Traditional DSE techniques rely on search-based methods, which involve iterative sampling of the design space to find the optimal solution. However, this process is both time-consuming and often fails to converge to the global optima for such design spaces. Recently, AIrchitect v1, the first attempt to address the limitations of search-based techniques, transformed DSE into a constant-time classification problem using recommendation networks. In this work, we propose AIrchitect v2, a more accurate and generalizable learning-based DSE technique applicable to large-scale design spaces that overcomes the shortcomings of earlier approaches. Specifically, we devise an encoder-decoder transformer model that (a) encodes the complex design space into a uniform intermediate representation using contrastive learning and (b) leverages a novel unified representation blending the advantages of classification and regression to effectively explore the large DSE space without sacrificing accuracy. Experimental results evaluated on 10^5 real DNN workloads demonstrate that, on average, AIrchitect v2 outperforms existing techniques by 15% in identifying optimal design points. Furthermore, to demonstrate the generalizability of our method, we evaluate performance on unseen model workloads (LLMs) and attain a 1.7x improvement in inference latency on the identified hardware architecture.
• Abstract（参考訳）: デザイン空間探索(DSE)は、特に最適化された特別な設計が不可欠であるAIのような新興アプリケーションにおいて、カスタムハードウェアアーキテクチャを実現する上で重要な役割を担います。 ディープニューラルネットワーク(DNN)の複雑さの増大と高度な基礎モデル(FM)の導入により、DNNアクセラレータの設計空間は指数関数的に拡大している。 さらに、この空間は非一様かつ非凸であり、ナビゲートや最適化がますます困難になっている。 従来のDSE手法は探索に基づく手法に依存しており、最適解を見つけるために設計空間を反復的にサンプリングする。 しかし、このプロセスは時間がかかり、そのような設計空間に対する大域的最適度に収束しないことが多い。 近年,検索手法の限界に対処する最初の試みであるAIrchitect v1は,DSEをレコメンデーションネットワークを用いた定時分類問題に変換する。 本稿では,より正確で一般化可能な学習ベースDSE技術であるAIrchitect v2を提案する。 具体的には,エンコーダ・デコーダ・トランスモデルを考案する。 (a)コントラスト学習を用いて複雑な設計空間を一様中間表現に符号化する b) 分類と回帰の利点をブレンドした新しい統一表現を活用して, 精度を犠牲にすることなく, 大規模DSE空間を効果的に探索する。 10^5の実DNNワークロードで評価された実験結果は、平均してAIrchitect v2は、最適な設計ポイントを特定する上で、既存の技術よりも15%優れていたことを示している。 さらに,本手法の一般化性を示すため,未確認モデルワークロード(LLM)の性能を評価し,ハードウェアアーキテクチャの推論遅延を1.7倍改善した。

関連論文リスト

• Neural Architecture Codesign for Fast Physics Applications [0.8692847090818803]
  物理応用のためのニューラルネットワーク符号の合理化のためのパイプラインを開発した。 ハードウェア効率の良いモデルを見つけるために,ニューラルネットワーク探索とネットワーク圧縮を2段階のアプローチで実施する。
  論文  参考訳（メタデータ） (2025-01-09T19:00:03Z)
• RLEEGNet: Integrating Brain-Computer Interfaces with Adaptive AI for Intuitive Responsiveness and High-Accuracy Motor Imagery Classification [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた強化学習を分類タスクに活用するフレームワークを提案する。 本稿では,OVR(One-Versus-The-Rest)方式で,マルチクラス運動画像(MI)分類のための前処理手法を提案する。 DQNと1D-CNN-LSTMアーキテクチャの統合は意思決定プロセスをリアルタイムで最適化する。
  論文  参考訳（メタデータ） (2024-02-09T02:03:13Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• A Graph Deep Learning Framework for High-Level Synthesis Design Space Exploration [11.154086943903696]
  High-Level Synthesisは、アプリケーション固有の高速プロトタイピングのためのソリューションである。 本稿では,加速性能とハードウェアコストを共同で予測するグラフニューラルネットワークHLSを提案する。 提案手法は,一般的なシミュレータと同等の精度で予測できることを示す。
  論文  参考訳（メタデータ） (2021-11-29T18:17:45Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• Automated Design Space Exploration for optimised Deployment of DNN on Arm Cortex-A CPUs [13.628734116014819]
  組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。 テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。 我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
  論文  参考訳（メタデータ） (2020-06-09T11:00:06Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。