論文の概要: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need

• arxiv url: http://arxiv.org/abs/2410.18368v1
• Date: Thu, 24 Oct 2024 02:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:39.725323
• Title: Multi-objective Optimization in CPU Design Space Exploration: Attention is All You Need
• Title（参考訳）: CPU設計空間探索における多目的最適化
• Authors: Runzhen Xue, Hao Wu, Mingyu Yan, Ziheng Xiao, Xiaochun Ye, Dongrui Fan,
• Abstract要約: 設計空間探索(DSE)により、建築家は様々な設計オプションを体系的に評価できる。 現代のCPUは、マイクロアーキテクチャパラメータの数を劇的に増加させ、全体的な設計空間を拡大した。 本研究では,アテンションDSEを導入し,アテンション機構を用いてマイクロアーキテクチャパラメータを直接マッピングし,予測性能を推定する。
• 参考スコア（独自算出の注目度）: 10.00916836342265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Design space exploration (DSE) enables architects to systematically evaluate various design options, guiding decisions on the most suitable configurations to meet specific objectives such as optimizing performance, power, and area. However, the growing complexity of modern CPUs has dramatically increased the number of micro-architectural parameters and expanded the overall design space, making DSE more challenging and time-consuming. Existing DSE frameworks struggle in large-scale design spaces due to inaccurate models and limited insights into parameter impact, hindering efficient identification of optimal micro-architectures within tight timeframes. In this work, we introduce AttentionDSE. Its key idea is to use the attention mechanism to establish a direct mapping of micro-architectural parameters to their contributions to predicted performance. This approach enhances both the prediction accuracy and interpretability of the performance model. Furthermore, the weights are dynamically adjusted, enabling the model to respond to design changes and effectively pinpoint the key micro-architectural parameters/components responsible for performance bottlenecks. Thus, AttentionDSE accurately, purposefully, and rapidly discovers optimal designs. Experiments on SPEC 2017 demonstrate that AttentionDSE significantly reduces exploration time by over 80\% and achieves 3.9\% improvement in Pareto Hypervolume compared to state-of-the-art DSE frameworks while maintaining superior prediction accuracy and efficiency with an increasing number of parameters.
• Abstract（参考訳）: 設計空間探索(DSE)により、アーキテクトは様々な設計オプションを体系的に評価し、パフォーマンス、電力、面積を最適化するといった特定の目的を達成するために最も適切な構成に関する決定を導くことができる。 しかし、現代のCPUの複雑さの増大により、マイクロアーキテクチャパラメータの数が劇的に増加し、全体的な設計空間が拡張され、DSEはより困難で時間を要するようになった。 既存のDSEフレームワークは、不正確なモデルとパラメータの影響に関する限られた洞察のために、大規模な設計空間で苦労しており、タイトな時間枠内で最適なマイクロアーキテクチャの特定を妨げている。 本稿では,AttentionDSEを紹介する。 その鍵となる考え方は、アテンションメカニズムを使用して、予測されたパフォーマンスへの貢献に対するマイクロアーキテクチャパラメータの直接マッピングを確立することである。 このアプローチは、性能モデルの予測精度と解釈可能性の両方を高める。 さらに、重みは動的に調整され、モデルが設計変更に対応できるようにし、パフォーマンスボトルネックの原因となる重要なマイクロアーキテクチャパラメータ/コンポーネントを効果的に特定する。 したがって、AttentionDSEは正確に、意図的に、迅速に最適な設計を発見できる。 SPEC 2017の実験では、AttentionDSEは探索時間を80\%以上削減し、Pareto Hypervolumeの3.9\%の改善を実現している。

関連論文リスト

• SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning [30.87517633729756]
  SSRはStructured Scene Reasoning用に設計されたフレームワークである。 軽量アライメント機構によって2Dと3Dの表現をシームレスに統合する。 複数の空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-28T02:05:35Z)
• A General Neural Backbone for Mixed-Integer Linear Optimization via Dual Attention [33.27281529953169]
  混合整数線形プログラミング(MILP)は最適化のための広く使われているモデリングフレームワークである。 ディープラーニングの最近の進歩は、MILPインスタンスを可変制約二部グラフとして表現することで、この問題に対処している。 我々は、純粋なグラフビューを超えて表現的表現を学習する、注意駆動型ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T02:23:47Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Ultra3D: Efficient and High-Fidelity 3D Generation with Part Attention [54.15345846343084]
  品質を損なうことなくスパースボクセルモデリングを大幅に高速化する,効率的な3D生成フレームワークであるUltra3Dを提案する。 部分注意(Part Attention)は、意味的に一貫した部分領域内での注意計算を制限する幾何学的な局所的注意機構である。 実験により、Ultra3Dは1024の解像度で高解像度の3D生成をサポートし、視覚的忠実度とユーザの好みの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:16Z)
• Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach [1.474723404975345]
  本研究では,FPGA ベースの SOC 上にデプロイされた DNN ベースの HSI セグメンテーションプロセッサの実用的共同設計のための最適化手法を提案する。 応用圧縮技術により設計されたDNNの複雑さは、元の操作の24.34%、元のパラメータの1.02%に大幅に減少し、セグメンテーション精度を著しく低下させることなく、推論タスクの2.86倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-07-22T13:09:04Z)
• Offline Model-Based Optimization: Comprehensive Review [61.91350077539443]
  オフライン最適化は、オフラインデータセットのみを使用してブラックボックス機能の最適化を目標とする、科学とエンジニアリングの基本的な課題である。 モデルベース最適化の最近の進歩は、オフライン固有の代理モデルと生成モデルを開発するために、ディープニューラルネットワークの一般化能力を活用している。 科学的な発見を加速させる効果が増大しているにもかかわらず、この分野は包括的なレビューを欠いている。
  論文  参考訳（メタデータ） (2025-03-21T16:35:02Z)
• Advanced Chain-of-Thought Reasoning for Parameter Extraction from Documents Using Large Language Models [3.7324910012003656]
  現在の手法は、高次元の設計データを処理し、リアルタイム処理の要求を満たすのに苦労している。 パラメータの抽出とPySpiceモデルの生成を自動化する革新的なフレームワークを提案する。 実験の結果, 3つの手法を併用することにより, 検索精度が47.69%向上し, 処理遅延が37.84%減少した。
  論文  参考訳（メタデータ） (2025-02-23T11:19:44Z)
• Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention [32.48360534726024]
  我々は、アルゴリズムのイノベーションとハードウェアの最適化を統合する、ネイティブにトレーニング可能なスパースアテンションメカニズムであるNSAを紹介する。 NSAは動的な階層的なスパース戦略を採用し、粗粒のトークン圧縮と細粒のトークン選択を組み合わせて、グローバルなコンテキスト認識と局所的精度の両方を維持する。
  論文  参考訳（メタデータ） (2025-02-16T11:53:44Z)
• AIRCHITECT v2: Learning the Hardware Accelerator Design Space through Unified Representations [3.6231171463908938]
  設計空間探索は、カスタムハードウェアアーキテクチャの実現において重要な役割を果たす。 最近のAIrchitect v1は、DSEの限界を検索時間分類問題に対処する最初の試みである。
  論文  参考訳（メタデータ） (2025-01-17T04:57:42Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では、FEMモジュールと協調して事前訓練された大規模言語モデル(LLM)を利用して、構造設計を自律的に生成、評価、洗練するフレームワークを提案する。 LLMはドメイン固有の微調整なしで動作し、設計候補を提案し、FEMから派生した性能指標を解釈し、構造的な音響修正を適用する。 NSGA-II (Non-Sorting Genetic Algorithm II) と比較して,本手法はより高速に収束し,より少ないFEM評価を実現する。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• A Data-driven Recommendation Framework for Optimal Walker Designs [0.0]
  本稿では,統計モデルと機械学習を利用して医療用歩行器を最適化することに焦点を当てる。 歩行者の望ましい特性を達成するために,予測機械学習モデルを訓練し,パフォーマンス目標間のトレードオフを識別する。 本稿では,構造安定性と整合性を高めつつ,30%の質量減少を示す潜在的な歩行設計を提案する。
  論文  参考訳（メタデータ） (2023-10-28T18:04:38Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Targeted Adaptive Design [0.0]
  近代的な製造と先進的な材料設計は、しばしば比較的高次元のプロセス制御パラメータ空間の探索を必要とする。 本稿では、このサンプリングタスクを効率的に行う新しいアルゴリズムであるターゲット適応設計(TAD)について述べる。 TADは、ベイズ最適化と最適な実験設計と本質的に異なる方法で、探査と爆発の緊張を具現化している。
  論文  参考訳（メタデータ） (2022-05-27T19:29:24Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Twins: Revisiting Spatial Attention Design in Vision Transformers [81.02454258677714]
  本稿では,注意深い空間的注意機構が最先端のスキームに対して好適に機能することを実証する。 Twins-PCPVTとTwins-SVTの2つのビジョントランスアーキテクチャを提案します。 提案するアーキテクチャは,現代のディープラーニングフレームワークに高度に最適化された行列乗算のみを含む,高効率かつ実装が容易である。
  論文  参考訳（メタデータ） (2021-04-28T15:42:31Z)
• MO-PaDGAN: Reparameterizing Engineering Designs for Augmented Multi-objective Optimization [13.866787416457454]
  多目的最適化は多くのエンジニアリング設計問題を解決する上で鍵となる。 深い生成モデルはコンパクトなデザイン表現を学ぶことができる。 Mo-PaDGANは、生成的対向ネットワークに決定的ポイントプロセスに基づく損失関数を追加する。
  論文  参考訳（メタデータ） (2020-09-15T13:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。