論文の概要: Collaborative Distillation Meta Learning for Simulation Intensive Hardware Design

• arxiv url: http://arxiv.org/abs/2205.13225v1
• Date: Thu, 26 May 2022 08:36:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 14:24:36.652601
• Title: Collaborative Distillation Meta Learning for Simulation Intensive Hardware Design
• Title（参考訳）: シミュレーション集中型ハードウェア設計のための協調蒸留メタ学習
• Authors: Haeyeon Kim, Minsu Kim, Joungho Kim, Jinkyoo Park
• Abstract要約: 本稿では,ハードウェア設計のシミュレーションのための新しい共同蒸留メタラーニング(CDML)フレームワークを提案する。 CDMLフレームワークは、コンテキストベースのメタラーナーと、再利用可能な解決器を生成するための共同蒸留スキームで構成されている。 我々のCDMLは、実世界の目的、電力の完全性、ゼロショット転送能力の観点から、ニューラルベースラインとイテレーティブな従来の設計手法の両方より優れています。
• 参考スコア（独自算出の注目度）: 13.54697305625963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel collaborative distillation meta learning (CDML) framework for simulation intensive hardware design problems. Deep reinforcement learning (DRL) has shown promising performance in various hardware design problems. However, previous works on DRL-based hardware design only dealt with problems with simplified objectives, which are not practical. In fact, the objective evaluation of real-world electrical performance through simulation is costly in terms of both time and computation, making DRL scheme involving extensive reward calculations not suitable. In this paper, we apply the CDML framework to decoupling capacitor placement problem (DPP), one of the significant simulation intensive hardware design problems. The CDML framework consists of a context-based meta learner and collaborative distillation scheme to produce a reusable solver. The context-based meta learner captures the location of probing port (i.e., target circuit block) and improves generalization capability. The collaborative distillation scheme with equivariant label transformation imposes the action-permutation (AP)-equivariant nature of placement problems, which not only improves sample efficiency but also improves generalization capability. Extensive experimental results verified that our CDML outperforms both neural baselines and iterative conventional design methods in terms of real-world objective, power integrity, with zero-shot transfer-ability.
• Abstract（参考訳）: 本稿では,ハードウェア設計のシミュレーションのための新しい共同蒸留メタラーニング(CDML)フレームワークを提案する。 深部強化学習(DRL)は様々なハードウェア設計問題において有望な性能を示している。 しかし、DRLベースのハードウェア設計に関する以前の研究は、単純化された目的の問題にしか対処しなかった。 実際、シミュレーションによる実世界の電気性能の客観的評価は時間と計算の両面でコストがかかるため、広範な報酬計算を含むdrlスキームは不適当である。 本稿では,cdmlフレームワークを,シミュレーション集約型ハードウェア設計問題の一つであるコンデンサ配置問題(dpp)の分離に適用する。 cdmlフレームワークは、コンテキストベースのメタ学習と、再利用可能な解法を作成するための協調蒸留スキームで構成されている。 コンテキストベースのメタ学習者は、探索ポート(ターゲット回路ブロック)の位置を捕捉し、一般化能力を向上させる。 等変ラベル変換を用いた共同蒸留方式は, 試料効率を向上するだけでなく, 一般化能力も向上する, プレースメント問題の動作置換(AP)-等変の性質を強制する。 我々のCDMLは, 実世界の目的, パワー整合性, ゼロショット転送能力の両面で, ニューラルベースラインと反復的設計手法の両方に優れていた。

関連論文リスト

• Teleportation With Null Space Gradient Projection for Optimization Acceleration [31.641252776379957]
  本稿では,テレポーテーション対象関数の勾配を入力ヌル空間に投影するアルゴリズムを提案する。 我々のアプローチは、容易にCNNからトランスフォーマー、そして潜在的に他の高度なアーキテクチャへ一般化できる。
  論文  参考訳（メタデータ） (2025-02-17T02:27:16Z)
• ContextFormer: Redefining Efficiency in Semantic Segmentation [46.06496660333768]
  畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。 ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。 我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
  論文  参考訳（メタデータ） (2025-01-31T16:11:04Z)
• Transformer^-1: Input-Adaptive Computation for Resource-Constrained Deployment [3.6219999155937113]
  本稿では,動的シナリオ下でのディープラーニングモデルにおける固定計算パラダイムによる資源無駄に対処するためのTransformer$-1$アーキテクチャを提案する。 ベンチマークテストでは,標準的なTransformerと比較してFLOPを42.7%削減し,ピークメモリ使用率を3%削減した。 また,いくつかの自然言語処理タスクの実験を行い,資源効率の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2025-01-26T15:31:45Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。