Fugu-MT 論文翻訳(概要): Apollo: Transferable Architecture Exploration

論文の概要: Apollo: Transferable Architecture Exploration

arxiv url: http://arxiv.org/abs/2102.01723v1
Date: Tue, 2 Feb 2021 19:36:02 GMT
ステータス: 処理完了
システム内更新日: 2021-02-04 17:14:06.477018
Title: Apollo: Transferable Architecture Exploration
Title（参考訳）: Apollo:Transferable Architecture Exploration
Authors: Amir Yazdanbakhsh, Christof Angermueller, Berkin Akin, Yanqi Zhou, Albin Jones, Milad Hashemi, Kevin Swersky, Satrajit Chatterjee, Ravi Narayanaswami, James Laudon
Abstract要約: 我々はApolloと呼ばれるトランスファー可能なアーキテクチャ探索フレームワークを提案する。提案手法は,ベースラインのブラックボックス最適化手法よりも,高報酬設計構成のサンプル効率が高いことを示す。
参考スコア（独自算出の注目度）: 26.489275442359464
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The looming end of Moore's Law and ascending use of deep learning drives the design of custom accelerators that are optimized for specific neural architectures. Architecture exploration for such accelerators forms a challenging constrained optimization problem over a complex, high-dimensional, and structured input space with a costly to evaluate objective function. Existing approaches for accelerator design are sample-inefficient and do not transfer knowledge between related optimizations tasks with different design constraints, such as area and/or latency budget, or neural architecture configurations. In this work, we propose a transferable architecture exploration framework, dubbed Apollo, that leverages recent advances in black-box function optimization for sample-efficient accelerator design. We use this framework to optimize accelerator configurations of a diverse set of neural architectures with alternative design constraints. We show that our framework finds high reward design configurations (up to 24.6% speedup) more sample-efficiently than a baseline black-box optimization approach. We further show that by transferring knowledge between target architectures with different design constraints, Apollo is able to find optimal configurations faster and often with better objective value (up to 25% improvements). This encouraging outcome portrays a promising path forward to facilitate generating higher quality accelerators.
Abstract（参考訳）: ムーアの法則の破滅とディープラーニングの利用の上昇は、特定のニューラルアーキテクチャに最適化されたカスタムアクセラレータの設計を促進する。このような加速器のアーキテクチャ探索は、目的関数を評価するのにコストがかかる複雑で高次元で構造化された入力空間上の制約付き最適化問題を引き起こす。既存のアクセラレータ設計のアプローチはサンプル非効率であり、エリアや遅延予算、ニューラルネットワークの構成など、異なる設計制約を持つ関連する最適化タスク間で知識を伝達しない。本研究では, ブラックボックス関数最適化の最近の進歩を活用して, サンプル効率の高い加速器設計のためのトランスファー可能なアーキテクチャ探索フレームワークApolloを提案する。このフレームワークを使用して、代替設計制約のあるさまざまなニューラルネットワークのアクセラレータ構成を最適化する。我々のフレームワークは,ベースラインのブラックボックス最適化手法よりも試料効率が高い(最大24.6%のスピードアップ)。さらに、異なる設計制約を持つターゲットアーキテクチャ間で知識を転送することで、apolloは最適な構成を素早く、しばしばより客観的な価値(最大25%の改善)で見つけることができることを示した。この奨励的な成果は、高品質のアクセラレータの生成を促進するための有望な道筋を示しています。

関連論文リスト

Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文参考訳（メタデータ） (2024-07-12T09:24:34Z)
Compositional Generative Inverse Design [69.22782875567547]
入力変数を設計して目的関数を最適化する逆設計は重要な問題である。拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
論文参考訳（メタデータ） (2024-01-24T01:33:39Z)
MetaML: Automating Customizable Cross-Stage Design-Flow for Deep Learning Acceleration [5.2487252195308844]
本稿では,ディープニューラルネットワーク(DNN)ハードウェアアクセラレータのための新しい最適化フレームワークを提案する。設計フローアーキテクチャ構築のための新しい最適化と変換タスクを導入する。以上の結果から,DSP使用率92%,LUT使用率89%の大幅な削減が得られた。
論文参考訳（メタデータ） (2023-06-14T21:06:07Z)
AutoML for neuromorphic computing and application-driven co-design: asynchronous, massively parallel optimization of spiking architectures [3.8937756915387505]
我々は、ニューロモルフィックアーキテクチャの探索と最適化にAutoMLにインスパイアされたアプローチを拡張した。ニューロモルフィックアーキテクチャの構成空間を効率的に探索し、最高の性能につながる条件のサブセットを特定することができる。
論文参考訳（メタデータ） (2023-02-26T02:26:45Z)
A Semi-Decoupled Approach to Fast and Optimal Hardware-Software Co-Design of Neural Accelerators [22.69558355718029]
ハードウェアとソフトウェアの共同設計は、フレキシブルなデザインスペースの利点を完全に享受し、ニューラルネットワークのパフォーマンスを最適化するために現れています。このような共同設計は、全検索空間を事実上無限大に拡大し、重大な課題を提起する。本稿では,設計空間全体の規模を桁違いに小さくするが,最適性を損なうことなく,Emphsemi-Decoupledアプローチを提案する。
論文参考訳（メタデータ） (2022-03-25T21:49:42Z)
Data-Driven Offline Optimization For Architecting Hardware Accelerators [89.68870139177785]
PRIMEと呼ばれるハードウェアアクセラレータを設計するための,データ駆動型オフライン最適化手法を開発した。 PRIMEは、最先端のシミュレーション駆動方式の性能を約1.54倍と1.20倍に改善し、必要な総シミュレーション時間をそれぞれ93%と99%削減する。さらにPRIMEは、ゼロショット設定で見えないアプリケーションのための効果的なアクセラレーターを設計し、シミュレーションベースの手法を1.26倍に向上させた。
論文参考訳（メタデータ） (2021-10-20T17:06:09Z)
A Construction Kit for Efficient Low Power Neural Network Accelerator Designs [11.807678100385164]
この研究は、最近の研究で使用されているニューラルネットワークアクセラレータ最適化アプローチの調査を提供する。建設キットとして最適化と定量的効果のリストを提示し、各ビルディングブロックの設計選択を個別に評価する。
論文参考訳（メタデータ） (2021-06-24T07:53:56Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Towards Accurate and Compact Architectures via Neural Architecture Transformer [95.4514639013144]
計算コストを増すことなくパフォーマンスを向上させるために、アーキテクチャ内の操作を最適化する必要がある。我々は最適化問題をマルコフ決定プロセス(MDP)にキャストするニューラルアーキテクチャ変換器(NAT)法を提案している。 NAT++(Neural Architecture Transformer++)メソッドを提案し、アーキテクチャ最適化のパフォーマンスを改善するために、候補遷移のセットをさらに拡大する。
論文参考訳（メタデータ） (2021-02-20T09:38:10Z)
Evolving Search Space for Neural Architecture Search [70.71153433676024]
最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
論文参考訳（メタデータ） (2020-11-22T01:11:19Z)
Agile Autotuning of a Transprecision Tensor Accelerator Overlay for TVM Compiler Stack [1.8337659614890698]
ブロック行列演算や多次元畳み込みなどのテンソル演算のための特別なアクセラレータは、ディープラーニングコンピューティングの強力なアーキテクチャ選択として登場した。フレームワーク、モデル、精度オプションの急速な開発は、そのようなテンソル加速器の適応性に挑戦する。プログラム可能なテンソルアクセラレータは、物理FPGAファブリック上にオーバーレイする仮想アーキテクチャの再構成を可能にすることで、有望な代替手段を提供する。
論文参考訳（メタデータ） (2020-04-20T10:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。