論文の概要: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need

• arxiv url: http://arxiv.org/abs/2410.18368v2
• Date: Thu, 14 Aug 2025 03:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 13:42:22.733888
• Title: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need
• Title（参考訳）: CPU設計空間探索における多目的最適化
• Authors: Runzhen Xue, Hao Wu, Mingyu Yan, Ziheng Xiao, Guangyu Sun, Xiaochun Ye, Dongrui Fan,
• Abstract要約: 設計空間探索(DSE)は現代のCPU設計に不可欠であるが、現在のフレームワークは高次元のアーキテクチャ空間で拡張と一般化に苦慮している。 textbfAttentionDSEは、パフォーマンス予測と神経設計ガイダンスを統合した最初のエンドツーエンドDSEフレームワークである。 主要なイノベーションには、アーキテクチャ階層と局所性を活用するtextbfPerception-Driven Attentionメカニズム、スライディングウィンドウ経由で$mathcalO(n2)$から$mathcalO(n)$への注意の複雑さのスケーリングがある。
• 参考スコア（独自算出の注目度）: 11.931035726174906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Design Space Exploration (DSE) is essential to modern CPU design, yet current frameworks struggle to scale and generalize in high-dimensional architectural spaces. As the dimensionality of design spaces continues to grow, existing DSE frameworks face three fundamental challenges: (1) reduced accuracy and poor scalability of surrogate models in large design spaces; (2) inefficient acquisition guided by hand-crafted heuristics or exhaustive search; (3) limited interpretability, making it hard to pinpoint architectural bottlenecks. In this work, we present \textbf{AttentionDSE}, the first end-to-end DSE framework that \emph{natively integrates} performance prediction and design guidance through an attention-based neural architecture. Unlike traditional DSE workflows that separate surrogate modeling from acquisition and rely heavily on hand-crafted heuristics, AttentionDSE establishes a unified, learning-driven optimization loop, in which attention weights serve a dual role: enabling accurate performance estimation and simultaneously exposing the performance bottleneck. This paradigm shift elevates attention from a passive representation mechanism to an active, interpretable driver of design decision-making. Key innovations include: (1) a \textbf{Perception-Driven Attention} mechanism that exploits architectural hierarchy and locality, scaling attention complexity from $\mathcal{O}(n^2)$ to $\mathcal{O}(n)$ via sliding windows; (2) an \textbf{Attention-aware Bottleneck Analysis} that automatically surfaces critical parameters for targeted optimization, eliminating the need for domain-specific heuristics. Evaluated on high-dimensional CPU design space using the SPEC CPU2017 benchmark suite, AttentionDSE achieves up to \textbf{3.9\% higher Pareto Hypervolume} and over \textbf{80\% reduction in exploration time} compared to state-of-the-art baselines.
• Abstract（参考訳）: 設計空間探索(DSE)は現代のCPU設計に不可欠であるが、現在のフレームワークは高次元のアーキテクチャ空間で拡張と一般化に苦慮している。 設計空間の次元化が進むにつれて、既存のDSEフレームワークは、(1)大規模設計空間におけるサロゲートモデルの精度とスケーラビリティの低下、(2)手作りのヒューリスティックや網羅的な探索によって導かれる非効率な獲得、(3)限定的な解釈可能性、アーキテクチャ上のボトルネックの特定が困難という3つの根本的な課題に直面している。 本稿では,注目に基づくニューラルアーキテクチャを通じて,パフォーマンス予測と設計指導を行う,最初のエンドツーエンドDSEフレームワークである‘textbf{AttentionDSE}を提示する。 買収からサロゲートモデリングを分離し、手作りのヒューリスティックに大きく依存する従来のDSEワークフローとは異なり、AttentionDSEは統合された学習駆動最適化ループを確立し、注意重みが2つの役割を果たす。 このパラダイムシフトは、受動的表現機構から、設計決定のアクティブで解釈可能なドライバへの注目を高める。 1) アーキテクチャ階層と局所性を活用する \textbf{Perception-Driven Attention} メカニズム、$\mathcal{O}(n^2)$から$\mathcal{O}(n)$への関心の複雑さをスライディングウインドウ経由でスケーリングする (2) ターゲット最適化のための重要なパラメータを自動的にサーフェスする \textbf{Attention-aware Bottleneck Analysis}。 SPEC CPU2017ベンチマークスイートを使用した高次元CPU設計空間の評価では、AttentionDSEは、最先端のベースラインと比較して、Pareto Hypervolume} の textbf{3.9\% と探索時間の textbf{80\% の削減を実現している。

関連論文リスト

• Offline Model-Based Optimization: Comprehensive Review [61.91350077539443]
  オフライン最適化は、オフラインデータセットのみを使用してブラックボックス機能の最適化を目標とする、科学とエンジニアリングの基本的な課題である。 モデルベース最適化の最近の進歩は、オフライン固有の代理モデルと生成モデルを開発するために、ディープニューラルネットワークの一般化能力を活用している。 科学的な発見を加速させる効果が増大しているにもかかわらず、この分野は包括的なレビューを欠いている。
  論文  参考訳（メタデータ） (2025-03-21T16:35:02Z)
• Advanced Chain-of-Thought Reasoning for Parameter Extraction from Documents Using Large Language Models [3.7324910012003656]
  現在の手法は、高次元の設計データを処理し、リアルタイム処理の要求を満たすのに苦労している。 パラメータの抽出とPySpiceモデルの生成を自動化する革新的なフレームワークを提案する。 実験の結果, 3つの手法を併用することにより, 検索精度が47.69%向上し, 処理遅延が37.84%減少した。
  論文  参考訳（メタデータ） (2025-02-23T11:19:44Z)
• AIRCHITECT v2: Learning the Hardware Accelerator Design Space through Unified Representations [3.6231171463908938]
  設計空間探索は、カスタムハードウェアアーキテクチャの実現において重要な役割を果たす。 最近のAIrchitect v1は、DSEの限界を検索時間分類問題に対処する最初の試みである。
  論文  参考訳（メタデータ） (2025-01-17T04:57:42Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では、FEMモジュールと協調して事前訓練された大規模言語モデル(LLM)を利用して、構造設計を自律的に生成、評価、洗練するフレームワークを提案する。 LLMはドメイン固有の微調整なしで動作し、設計候補を提案し、FEMから派生した性能指標を解釈し、構造的な音響修正を適用する。 NSGA-II (Non-Sorting Genetic Algorithm II) と比較して,本手法はより高速に収束し,より少ないFEM評価を実現する。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• A Data-driven Recommendation Framework for Optimal Walker Designs [0.0]
  本稿では,統計モデルと機械学習を利用して医療用歩行器を最適化することに焦点を当てる。 歩行者の望ましい特性を達成するために,予測機械学習モデルを訓練し,パフォーマンス目標間のトレードオフを識別する。 本稿では,構造安定性と整合性を高めつつ,30%の質量減少を示す潜在的な歩行設計を提案する。
  論文  参考訳（メタデータ） (2023-10-28T18:04:38Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Targeted Adaptive Design [0.0]
  近代的な製造と先進的な材料設計は、しばしば比較的高次元のプロセス制御パラメータ空間の探索を必要とする。 本稿では、このサンプリングタスクを効率的に行う新しいアルゴリズムであるターゲット適応設計(TAD)について述べる。 TADは、ベイズ最適化と最適な実験設計と本質的に異なる方法で、探査と爆発の緊張を具現化している。
  論文  参考訳（メタデータ） (2022-05-27T19:29:24Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• MO-PaDGAN: Reparameterizing Engineering Designs for Augmented Multi-objective Optimization [13.866787416457454]
  多目的最適化は多くのエンジニアリング設計問題を解決する上で鍵となる。 深い生成モデルはコンパクトなデザイン表現を学ぶことができる。 Mo-PaDGANは、生成的対向ネットワークに決定的ポイントプロセスに基づく損失関数を追加する。
  論文  参考訳（メタデータ） (2020-09-15T13:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。