論文の概要: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need

• arxiv url: http://arxiv.org/abs/2410.18368v1
• Date: Thu, 24 Oct 2024 02:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:02.486414
• Title: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need
• Title（参考訳）: CPU設計空間探索における多目的最適化
• Authors: Runzhen Xue, Hao Wu, Mingyu Yan, Ziheng Xiao, Xiaochun Ye, Dongrui Fan,
• Abstract要約: 設計空間探索(DSE)により、建築家は様々な設計オプションを体系的に評価できる。 現代のCPUは、マイクロアーキテクチャパラメータの数を劇的に増加させ、全体的な設計空間を拡大した。 本研究では,アテンションDSEを導入し,アテンション機構を用いてマイクロアーキテクチャパラメータを直接マッピングし,予測性能を推定する。
• 参考スコア（独自算出の注目度）: 10.00916836342265
• License:
• Abstract: Design space exploration (DSE) enables architects to systematically evaluate various design options, guiding decisions on the most suitable configurations to meet specific objectives such as optimizing performance, power, and area. However, the growing complexity of modern CPUs has dramatically increased the number of micro-architectural parameters and expanded the overall design space, making DSE more challenging and time-consuming. Existing DSE frameworks struggle in large-scale design spaces due to inaccurate models and limited insights into parameter impact, hindering efficient identification of optimal micro-architectures within tight timeframes. In this work, we introduce AttentionDSE. Its key idea is to use the attention mechanism to establish a direct mapping of micro-architectural parameters to their contributions to predicted performance. This approach enhances both the prediction accuracy and interpretability of the performance model. Furthermore, the weights are dynamically adjusted, enabling the model to respond to design changes and effectively pinpoint the key micro-architectural parameters/components responsible for performance bottlenecks. Thus, AttentionDSE accurately, purposefully, and rapidly discovers optimal designs. Experiments on SPEC 2017 demonstrate that AttentionDSE significantly reduces exploration time by over 80\% and achieves 3.9\% improvement in Pareto Hypervolume compared to state-of-the-art DSE frameworks while maintaining superior prediction accuracy and efficiency with an increasing number of parameters.
• Abstract（参考訳）: 設計空間探索(DSE)により、アーキテクトは様々な設計オプションを体系的に評価し、パフォーマンス、電力、面積を最適化するといった特定の目的を達成するために最も適切な構成に関する決定を導くことができる。 しかし、現代のCPUの複雑さの増大により、マイクロアーキテクチャパラメータの数が劇的に増加し、全体的な設計空間が拡張され、DSEはより困難で時間を要するようになった。 既存のDSEフレームワークは、不正確なモデルとパラメータの影響に関する限られた洞察のために、大規模な設計空間で苦労しており、タイトな時間枠内で最適なマイクロアーキテクチャの特定を妨げている。 本稿では,AttentionDSEを紹介する。 その鍵となる考え方は、アテンションメカニズムを使用して、予測されたパフォーマンスへの貢献に対するマイクロアーキテクチャパラメータの直接マッピングを確立することである。 このアプローチは、性能モデルの予測精度と解釈可能性の両方を高める。 さらに、重みは動的に調整され、モデルが設計変更に対応できるようにし、パフォーマンスボトルネックの原因となる重要なマイクロアーキテクチャパラメータ/コンポーネントを効果的に特定する。 したがって、AttentionDSEは正確に、意図的に、迅速に最適な設計を発見できる。 SPEC 2017の実験では、AttentionDSEは探索時間を80\%以上削減し、Pareto Hypervolumeの3.9\%の改善を実現している。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• A Data-driven Recommendation Framework for Optimal Walker Designs [0.0]
  本稿では,統計モデルと機械学習を利用して医療用歩行器を最適化することに焦点を当てる。 歩行者の望ましい特性を達成するために,予測機械学習モデルを訓練し,パフォーマンス目標間のトレードオフを識別する。 本稿では,構造安定性と整合性を高めつつ,30%の質量減少を示す潜在的な歩行設計を提案する。
  論文  参考訳（メタデータ） (2023-10-28T18:04:38Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Targeted Adaptive Design [0.0]
  近代的な製造と先進的な材料設計は、しばしば比較的高次元のプロセス制御パラメータ空間の探索を必要とする。 本稿では、このサンプリングタスクを効率的に行う新しいアルゴリズムであるターゲット適応設計(TAD)について述べる。 TADは、ベイズ最適化と最適な実験設計と本質的に異なる方法で、探査と爆発の緊張を具現化している。
  論文  参考訳（メタデータ） (2022-05-27T19:29:24Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• MO-PaDGAN: Reparameterizing Engineering Designs for Augmented Multi-objective Optimization [13.866787416457454]
  多目的最適化は多くのエンジニアリング設計問題を解決する上で鍵となる。 深い生成モデルはコンパクトなデザイン表現を学ぶことができる。 Mo-PaDGANは、生成的対向ネットワークに決定的ポイントプロセスに基づく損失関数を追加する。
  論文  参考訳（メタデータ） (2020-09-15T13:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。