論文の概要: Collaborative Distillation Meta Learning for Simulation Intensive Hardware Design

• arxiv url: http://arxiv.org/abs/2205.13225v1
• Date: Thu, 26 May 2022 08:36:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:24:36.652601
• Title: Collaborative Distillation Meta Learning for Simulation Intensive Hardware Design
• Title（参考訳）: シミュレーション集中型ハードウェア設計のための協調蒸留メタ学習
• Authors: Haeyeon Kim, Minsu Kim, Joungho Kim, Jinkyoo Park
• Abstract要約: 本稿では,ハードウェア設計のシミュレーションのための新しい共同蒸留メタラーニング(CDML)フレームワークを提案する。 CDMLフレームワークは、コンテキストベースのメタラーナーと、再利用可能な解決器を生成するための共同蒸留スキームで構成されている。 我々のCDMLは、実世界の目的、電力の完全性、ゼロショット転送能力の観点から、ニューラルベースラインとイテレーティブな従来の設計手法の両方より優れています。
• 参考スコア（独自算出の注目度）: 13.54697305625963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel collaborative distillation meta learning (CDML) framework for simulation intensive hardware design problems. Deep reinforcement learning (DRL) has shown promising performance in various hardware design problems. However, previous works on DRL-based hardware design only dealt with problems with simplified objectives, which are not practical. In fact, the objective evaluation of real-world electrical performance through simulation is costly in terms of both time and computation, making DRL scheme involving extensive reward calculations not suitable. In this paper, we apply the CDML framework to decoupling capacitor placement problem (DPP), one of the significant simulation intensive hardware design problems. The CDML framework consists of a context-based meta learner and collaborative distillation scheme to produce a reusable solver. The context-based meta learner captures the location of probing port (i.e., target circuit block) and improves generalization capability. The collaborative distillation scheme with equivariant label transformation imposes the action-permutation (AP)-equivariant nature of placement problems, which not only improves sample efficiency but also improves generalization capability. Extensive experimental results verified that our CDML outperforms both neural baselines and iterative conventional design methods in terms of real-world objective, power integrity, with zero-shot transfer-ability.
• Abstract（参考訳）: 本稿では,ハードウェア設計のシミュレーションのための新しい共同蒸留メタラーニング(CDML)フレームワークを提案する。 深部強化学習(DRL)は様々なハードウェア設計問題において有望な性能を示している。 しかし、DRLベースのハードウェア設計に関する以前の研究は、単純化された目的の問題にしか対処しなかった。 実際、シミュレーションによる実世界の電気性能の客観的評価は時間と計算の両面でコストがかかるため、広範な報酬計算を含むdrlスキームは不適当である。 本稿では,cdmlフレームワークを,シミュレーション集約型ハードウェア設計問題の一つであるコンデンサ配置問題(dpp)の分離に適用する。 cdmlフレームワークは、コンテキストベースのメタ学習と、再利用可能な解法を作成するための協調蒸留スキームで構成されている。 コンテキストベースのメタ学習者は、探索ポート(ターゲット回路ブロック)の位置を捕捉し、一般化能力を向上させる。 等変ラベル変換を用いた共同蒸留方式は, 試料効率を向上するだけでなく, 一般化能力も向上する, プレースメント問題の動作置換(AP)-等変の性質を強制する。 我々のCDMLは, 実世界の目的, パワー整合性, ゼロショット転送能力の両面で, ニューラルベースラインと反復的設計手法の両方に優れていた。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
  トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。 本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。 実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
  論文  参考訳（メタデータ） (2024-07-16T12:36:10Z)
• Learning for Semantic Knowledge Base-Guided Online Feature Transmission in Dynamic Channels [41.59960455142914]
  本稿では,エンドツーエンド通信システムにおける動的チャネル条件とデバイスモビリティの課題に対処する,オンライン最適化フレームワークを提案する。 提案手法は,多レベル特徴伝達を駆動するための意味的知識ベースを活用することによって,既存の手法に基づいている。 オンライン最適化の課題を解決するために,リアルタイム意思決定のための報酬関数を慎重に設計した,ソフトアクターに基づく深層強化学習システムの設計を行った。
  論文  参考訳（メタデータ） (2023-11-30T07:35:56Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Optimizing Inference Performance of Transformers on CPUs [0.0]
  トランスフォーマーベースのモデル(BERTなど)は、検索、翻訳、質問応答など、多くの重要なWebサービスを支えている。 本稿では,cpu上でのトランスフォーマモデル参照のスケーラビリティと性能に関する実証分析を行う。
  論文  参考訳（メタデータ） (2021-02-12T17:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。