論文の概要: DevFormer: A Symmetric Transformer for Context-Aware Device Placement
- arxiv url: http://arxiv.org/abs/2205.13225v3
- Date: Wed, 7 Jun 2023 07:01:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 20:21:25.117960
- Title: DevFormer: A Symmetric Transformer for Context-Aware Device Placement
- Title（参考訳）: devformer:コンテキスト認識デバイス配置のための対称トランスフォーマー
- Authors: Haeyeon Kim, Minsu Kim, Federico Berto, Joungho Kim, Jinkyoo Park
- Abstract要約: 本稿では,ハードウェア設計最適化の複雑で計算に要求される問題に対処するトランスフォーマーベースのアーキテクチャであるDevFormerを提案する。
提案手法は, 相対的な位置埋め込みや行動置換対称性などの強い帰納バイアスを導入することで, この制限に対処する。
DevFoemerは、両方のシミュレーションハードウェアで最先端の手法よりも優れており、性能が向上し、コンポーネントの数を30ドル以上削減できることを示す。
- 参考スコア（独自算出の注目度）: 12.400790776196667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present DevFormer, a novel transformer-based architecture
for addressing the complex and computationally demanding problem of hardware
design optimization. Despite the demonstrated efficacy of transformers in
domains including natural language processing and computer vision, their use in
hardware design has been limited by the scarcity of offline data. Our approach
addresses this limitation by introducing strong inductive biases such as
relative positional embeddings and action-permutation symmetricity that
effectively capture the hardware context and enable efficient design
optimization with limited offline data. We apply DevFoemer to the problem of
decoupling capacitor placement and show that it outperforms state-of-the-art
methods in both simulated and real hardware, leading to improved performances
while reducing the number of components by more than $30\%$. Finally, we show
that our approach achieves promising results in other offline contextual
learning-based combinatorial optimization tasks.
- Abstract（参考訳）: 本稿では,ハードウェア設計最適化の複雑かつ計算的に要求される問題に対処する,新しいトランスフォーマーベースのアーキテクチャであるDevFormerを提案する。
自然言語処理やコンピュータビジョンなどの領域におけるトランスフォーマーの有効性が実証されているにもかかわらず、ハードウェア設計におけるその使用はオフラインデータの不足によって制限されている。
提案手法は,ハードウェアコンテキストを効果的に捉え,オフラインデータに制限のある効率的な設計最適化を実現するための,相対的位置埋め込みやアクション置換対称性といった強い帰納的バイアスを導入することで,この制限に対処する。
我々はDevFoemerをキャパシタ配置を分離する問題に適用し、シミュレーションと実ハードウェアの両方で最先端の手法より優れており、性能が向上し、部品数も30ドル以上削減されていることを示す。
最後に,オフラインの文脈学習に基づく組合せ最適化タスクで有望な結果が得られることを示す。
関連論文リスト
- Teleportation With Null Space Gradient Projection for Optimization Acceleration [31.641252776379957]
本稿では,テレポーテーション対象関数の勾配を入力ヌル空間に投影するアルゴリズムを提案する。
我々のアプローチは、容易にCNNからトランスフォーマー、そして潜在的に他の高度なアーキテクチャへ一般化できる。
論文 参考訳（メタデータ） (2025-02-17T02:27:16Z) - ContextFormer: Redefining Efficiency in Semantic Segmentation [46.06496660333768]
畳み込み法は、局所的な依存関係をうまく捉えるが、長距離関係に苦慮する。
ビジョントランスフォーマー(ViT)は、グローバルなコンテキストキャプチャでは優れるが、高い計算要求によって妨げられる。
我々は,リアルタイムセマンティックセグメンテーションの効率,精度,堅牢性のバランスをとるために,CNN と ViT の強みを活用したハイブリッドフレームワーク ContextFormer を提案する。
論文 参考訳（メタデータ） (2025-01-31T16:11:04Z) - Transformer^-1: Input-Adaptive Computation for Resource-Constrained Deployment [3.6219999155937113]
本稿では,動的シナリオ下でのディープラーニングモデルにおける固定計算パラダイムによる資源無駄に対処するためのTransformer$-1$アーキテクチャを提案する。
ベンチマークテストでは,標準的なTransformerと比較してFLOPを42.7%削減し,ピークメモリ使用率を3%削減した。
また,いくつかの自然言語処理タスクの実験を行い,資源効率の大幅な向上を実現した。
論文 参考訳（メタデータ） (2025-01-26T15:31:45Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - TransCODE: Co-design of Transformers and Accelerators for Efficient
Training and Inference [6.0093441900032465]
本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。
我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。
得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
論文 参考訳（メタデータ） (2023-03-27T02:45:18Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳（メタデータ） (2022-11-30T05:31:45Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-07-13T11:12:03Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。