論文の概要: DevFormer: A Symmetric Transformer for Context-Aware Device Placement
- arxiv url: http://arxiv.org/abs/2205.13225v3
- Date: Wed, 7 Jun 2023 07:01:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 20:21:25.117960
- Title: DevFormer: A Symmetric Transformer for Context-Aware Device Placement
- Title（参考訳）: devformer:コンテキスト認識デバイス配置のための対称トランスフォーマー
- Authors: Haeyeon Kim, Minsu Kim, Federico Berto, Joungho Kim, Jinkyoo Park
- Abstract要約: 本稿では,ハードウェア設計最適化の複雑で計算に要求される問題に対処するトランスフォーマーベースのアーキテクチャであるDevFormerを提案する。
提案手法は, 相対的な位置埋め込みや行動置換対称性などの強い帰納バイアスを導入することで, この制限に対処する。
DevFoemerは、両方のシミュレーションハードウェアで最先端の手法よりも優れており、性能が向上し、コンポーネントの数を30ドル以上削減できることを示す。
- 参考スコア（独自算出の注目度）: 12.400790776196667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present DevFormer, a novel transformer-based architecture
for addressing the complex and computationally demanding problem of hardware
design optimization. Despite the demonstrated efficacy of transformers in
domains including natural language processing and computer vision, their use in
hardware design has been limited by the scarcity of offline data. Our approach
addresses this limitation by introducing strong inductive biases such as
relative positional embeddings and action-permutation symmetricity that
effectively capture the hardware context and enable efficient design
optimization with limited offline data. We apply DevFoemer to the problem of
decoupling capacitor placement and show that it outperforms state-of-the-art
methods in both simulated and real hardware, leading to improved performances
while reducing the number of components by more than $30\%$. Finally, we show
that our approach achieves promising results in other offline contextual
learning-based combinatorial optimization tasks.
- Abstract（参考訳）: 本稿では,ハードウェア設計最適化の複雑かつ計算的に要求される問題に対処する,新しいトランスフォーマーベースのアーキテクチャであるDevFormerを提案する。
自然言語処理やコンピュータビジョンなどの領域におけるトランスフォーマーの有効性が実証されているにもかかわらず、ハードウェア設計におけるその使用はオフラインデータの不足によって制限されている。
提案手法は,ハードウェアコンテキストを効果的に捉え,オフラインデータに制限のある効率的な設計最適化を実現するための,相対的位置埋め込みやアクション置換対称性といった強い帰納的バイアスを導入することで,この制限に対処する。
我々はDevFoemerをキャパシタ配置を分離する問題に適用し、シミュレーションと実ハードウェアの両方で最先端の手法より優れており、性能が向上し、部品数も30ドル以上削減されていることを示す。
最後に,オフラインの文脈学習に基づく組合せ最適化タスクで有望な結果が得られることを示す。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。
本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。
実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
論文 参考訳（メタデータ） (2024-07-16T12:36:10Z) - Learning for Semantic Knowledge Base-Guided Online Feature Transmission
in Dynamic Channels [41.59960455142914]
本稿では,エンドツーエンド通信システムにおける動的チャネル条件とデバイスモビリティの課題に対処する,オンライン最適化フレームワークを提案する。
提案手法は,多レベル特徴伝達を駆動するための意味的知識ベースを活用することによって,既存の手法に基づいている。
オンライン最適化の課題を解決するために,リアルタイム意思決定のための報酬関数を慎重に設計した,ソフトアクターに基づく深層強化学習システムの設計を行った。
論文 参考訳（メタデータ） (2023-11-30T07:35:56Z) - TransCODE: Co-design of Transformers and Accelerators for Efficient
Training and Inference [6.0093441900032465]
本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。
我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。
得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
論文 参考訳（メタデータ） (2023-03-27T02:45:18Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳（メタデータ） (2022-11-30T05:31:45Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-07-13T11:12:03Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Optimizing Inference Performance of Transformers on CPUs [0.0]
トランスフォーマーベースのモデル(BERTなど)は、検索、翻訳、質問応答など、多くの重要なWebサービスを支えている。
本稿では,cpu上でのトランスフォーマモデル参照のスケーラビリティと性能に関する実証分析を行う。
論文 参考訳（メタデータ） (2021-02-12T17:01:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。