論文の概要: Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance

• arxiv url: http://arxiv.org/abs/2407.08192v3
• Date: Fri, 21 Feb 2025 21:17:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:53.218518
• Title: Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
• Title（参考訳）: 動的共最適化コンパイラ:DNN加速器性能向上のためのマルチエージェント強化学習の活用
• Authors: Arya Fayyazi, Mehdi Kamal, Massoud Pedram,
• Abstract要約: 本稿では,新しい動的共最適化コンパイラ(DCOC)を紹介する。 DCOCは、機械学習(ML)モデルをさまざまなハードウェアプラットフォームにマッピングする効率を高めるために、適応型マルチエージェント強化学習(MARL)フレームワークを使用している。 以上の結果から,DCOCはスループットを最大37.95%向上し,最適化時間を最大42.2%削減した。
• 参考スコア（独自算出の注目度）: 4.825037489691159
• License:
• Abstract: This paper introduces a novel Dynamic Co-Optimization Compiler (DCOC), which employs an adaptive Multi-Agent Reinforcement Learning (MARL) framework to enhance the efficiency of mapping machine learning (ML) models, particularly Deep Neural Networks (DNNs), onto diverse hardware platforms. DCOC incorporates three specialized actor-critic agents within MARL, each dedicated to different optimization facets: one for hardware and two for software. This cooperative strategy results in an integrated hardware/software co-optimization approach, improving the precision and speed of DNN deployments. By focusing on high-confidence configurations, DCOC effectively reduces the search space, achieving remarkable performance over existing methods. Our results demonstrate that DCOC enhances throughput by up to 37.95% while reducing optimization time by up to 42.2% across various DNN models, outperforming current state-of-the-art frameworks.
• Abstract（参考訳）: 本稿では,機械学習(ML)モデル,特にディープニューラルネットワーク(DNN)モデルの様々なハードウェアプラットフォームへのマッピング効率を高めるために,適応型マルチエージェント強化学習(MARL)フレームワークを用いた新しい動的共最適化コンパイラ(DCOC)を提案する。 DCOCはMARLに3つの特別なアクター・クリティカル・エージェントを組み込んでおり、それぞれ異なる最適化面に特化している:1つはハードウェア、1つはソフトウェア用、2つはソフトウェア用である。 この協力戦略により、統合ハードウェア/ソフトウェアの共同最適化アプローチが実現され、DNNデプロイメントの精度とスピードが向上する。 高信頼構成に集中することにより、DCOCは検索スペースを効果的に削減し、既存の手法よりも優れた性能を実現する。 以上の結果から,DCOCはスループットを最大37.95%向上させ,最適化時間を最大42.2%削減し,現在の最先端フレームワークよりも優れていた。

関連論文リスト

• MetaML-Pro: Cross-Stage Design Flow Automation for Efficient Deep Learning Acceleration [8.43012094714496]
  本稿では、リソース制約のあるハードウェア上にディープニューラルネットワーク(DNN)をデプロイするための最適化戦略の体系化と自動化のための統一的なフレームワークを提案する。 我々の新しいアプローチは、クロスステージなコ最適化と最適化検索の2つの主要な問題に対処する。 実験の結果、一部のネットワークでは92%のDSPと89%のLUT使用率低下が確認された。
  論文  参考訳（メタデータ） (2025-02-09T11:02:06Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Characterizing Speed Performance of Multi-Agent Reinforcement Learning [5.313762764969945]
  MARL(Multi-Agent Reinforcement Learning)は、大規模AIシステムや、スマートグリッドや監視などビッグデータアプリケーションにおいて、大きな成功を収めています。 MARLアルゴリズムの既存の進歩は、エージェント間協調のための様々なメカニズムを導入して得られる報酬の改善に焦点を当てている。 我々は、MARL実装において、速度性能(すなわち、レイテンシ境界スループット)を重要な指標として分析する。
  論文  参考訳（メタデータ） (2023-09-13T17:26:36Z)
• MetaML: Automating Customizable Cross-Stage Design-Flow for Deep Learning Acceleration [5.2487252195308844]
  本稿では,ディープニューラルネットワーク(DNN)ハードウェアアクセラレータのための新しい最適化フレームワークを提案する。 設計フローアーキテクチャ構築のための新しい最適化と変換タスクを導入する。 以上の結果から,DSP使用率92%,LUT使用率89%の大幅な削減が得られた。
  論文  参考訳（メタデータ） (2023-06-14T21:06:07Z)
• Break a Lag: Triple Exponential Moving Average for Enhanced Optimization [2.0199251985015434]
  本稿では,三重指数移動平均のパワーを利用する新しい最適化手法であるFAMEを紹介する。 FAMEはデータダイナミクスに対する応答性を高め、トレンド識別ラグを緩和し、学習効率を最適化する。 包括的評価は、画像分類、オブジェクト検出、セマンティックセグメンテーションを含む様々なコンピュータビジョンタスクを含み、FAMEを30の異なるアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2023-06-02T10:29:33Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• Automated Design Space Exploration for optimised Deployment of DNN on Arm Cortex-A CPUs [13.628734116014819]
  組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。 テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。 我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
  論文  参考訳（メタデータ） (2020-06-09T11:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。