論文の概要: Differentially Evolving Memory Ensembles: Pareto Optimization based on Computational Intelligence for Embedded Memories on a System Level

• arxiv url: http://arxiv.org/abs/2109.09502v1
• Date: Mon, 20 Sep 2021 12:53:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 05:28:24.719478
• Title: Differentially Evolving Memory Ensembles: Pareto Optimization based on Computational Intelligence for Embedded Memories on a System Level
• Title（参考訳）: 異なる進化するメモリアンサンブル:システムレベルでの埋め込み記憶のための計算知に基づくパレート最適化
• Authors: Felix Last, Ceren Yeni, Ulf Schlichtmann
• Abstract要約: 本稿では,計算機知能を用いてメモリシステムの最適化問題を解く方法について述べる。 私たちのフレームワークは、小さなリソースフットプリントを維持しながら、数千のメモリのシステムの最適化を可能にします。
• 参考スコア（独自算出の注目度）: 2.1094836466667606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the relative power, performance, and area (PPA) impact of embedded memories continues to grow, proper parameterization of each of the thousands of memories on a chip is essential. When the parameters of all memories of a product are optimized together as part of a single system, better trade-offs may be achieved than if the same memories were optimized in isolation. However, challenges such as a sparse solution space, conflicting objectives, and computationally expensive PPA estimation impede the application of common optimization heuristics. We show how the memory system optimization problem can be solved through computational intelligence. We apply a Pareto-based Differential Evolution to ensure unbiased optimization of multiple PPA objectives. To ensure efficient exploration of a sparse solution space, we repair individuals to yield feasible parameterizations. PPA is estimated efficiently in large batches by pre-trained regression neural networks. Our framework enables the system optimization of thousands of memories while keeping a small resource footprint. Evaluating our method on a tractable system, we find that our method finds diverse solutions which exhibit less than 0.5% distance from known global optima.
• Abstract（参考訳）: 組込みメモリの相対的パワー、性能、面積(PPA)の影響が増大し続けており、チップ上の数千のメモリの適切なパラメータ化が不可欠である。 製品の全記憶のパラメータが単一のシステムの一部として一緒に最適化された場合、同じ記憶が独立して最適化された場合よりもより良いトレードオフが得られる。 しかし、スパース解空間、競合する目的、計算コストの高いPPA推定といった課題は、共通の最適化ヒューリスティックスの適用を妨げる。 本稿では,メモリシステムの最適化問題を計算知能を用いて解く方法を示す。 複数のPPA目標の偏りのない最適化を保証するために,Paretoに基づく微分進化法を適用した。 スパース解空間の効率的な探索を実現するため, 個人を修復し, 実現可能なパラメータ化を行う。 PPAは、事前学習された回帰ニューラルネットワークによって、大規模なバッチで効率的に推定される。 私たちのフレームワークは、少ないリソースフットプリントを維持しながら、数千のメモリのシステム最適化を可能にします。 提案手法をトラクタブルシステム上で評価した結果, 既知のグローバルオプティマから0.5%未満の距離を示す多様な解が得られた。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• CAME: Confidence-guided Adaptive Memory Efficient Optimization [20.009302737137787]
  適応勾配法は大規模言語モデルの訓練において優れた性能を示した。 二次モーメント推定の維持には、メモリオーバーヘッドの増大を高いコストで維持する必要がある。 補助メモリ使用量の大幅な削減を実現するために、いくつかのメモリ効率が提案されているが、性能上のペナルティがある。 我々は,従来の適応手法のように高速収束,メモリ効率の低い2つの目標を同時に達成するために,CAMEを提案する。
  論文  参考訳（メタデータ） (2023-07-05T06:05:36Z)
• More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning [3.9596068699962315]
  連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。 本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。 その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
  論文  参考訳（メタデータ） (2021-05-28T21:05:51Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
  多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。 本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。 本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
  論文  参考訳（メタデータ） (2020-07-06T23:28:40Z)
• Predicting Memory Compiler Performance Outputs using Feed-Forward Neural Networks [2.1094836466667606]
  チップの設計フローにおける重要なタスクは、最適なメモリコンパイラのパラメトリゼーションを見つけることである。 本稿では,メモリコンパイラがパラメータ化した場合の出力を予測するために,完全に接続されたフィードフォワードニューラルネットワークを提案する。 網羅的な検索ベースのフレームワークを使用して、チップ設計者が要求を指定してから数秒以内に、PPA最適化パラメトリゼーションが見つかる。
  論文  参考訳（メタデータ） (2020-03-05T13:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。