論文の概要: Hierarchical Mixture of Experts: Generalizable Learning for High-Level Synthesis

• arxiv url: http://arxiv.org/abs/2410.19225v1
• Date: Fri, 25 Oct 2024 00:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:17.409694
• Title: Hierarchical Mixture of Experts: Generalizable Learning for High-Level Synthesis
• Title（参考訳）: エキスパートの階層的混合:高レベル合成のための一般化可能な学習
• Authors: Weikai Li, Ding Wang, Zijian Ding, Atefeh Sohrabizadeh, Zongyue Qin, Jason Cong, Yizhou Sun,
• Abstract要約: 高レベル合成(HLS)は、FPGA(Field Programmable Gate Array)の設計において広く使われているツールである。 よりドメイン一般化可能なモデル構造として, 2段階の階層的エキスパート混合(MoE)を提案する。 低レベル MoE では、プログラムの3つの自然な粒度(ノード、基本ブロック、グラフ)に MoE を適用する。 ハイレベルなMoEは、最終決定のために3つの粒度を集約することを学ぶ。
• 参考スコア（独自算出の注目度）: 43.612837464039686
• License:
• Abstract: High-level synthesis (HLS) is a widely used tool in designing Field Programmable Gate Array (FPGA). HLS enables FPGA design with software programming languages by compiling the source code into an FPGA circuit. The source code includes a program (called ``kernel'') and several pragmas that instruct hardware synthesis, such as parallelization, pipeline, etc. While it is relatively easy for software developers to design the program, it heavily relies on hardware knowledge to design the pragmas, posing a big challenge for software developers. Recently, different machine learning algorithms, such as GNNs, have been proposed to automate the pragma design via performance prediction. However, when applying the trained model on new kernels, the significant domain shift often leads to unsatisfactory performance. We propose a more domain-generalizable model structure: a two-level hierarchical Mixture of Experts (MoE), that can be flexibly adapted to any GNN model. Different expert networks can learn to deal with different regions in the representation space, and they can utilize similar patterns between the old kernels and new kernels. In the low-level MoE, we apply MoE on three natural granularities of a program: node, basic block, and graph. The high-level MoE learns to aggregate the three granularities for the final decision. To stably train the hierarchical MoE, we further propose a two-stage training method. Extensive experiments verify the effectiveness of the hierarchical MoE.
• Abstract（参考訳）: 高レベル合成(HLS)は、FPGA(Field Programmable Gate Array)の設計において広く使われているツールである。 HLSは、ソースコードをFPGA回路にコンパイルすることで、ソフトウェアプログラミング言語でFPGA設計を可能にする。 ソースコードにはプログラム( ``kernel'' と呼ばれる)と、並列化やパイプラインなど、ハードウェア合成を指示するいくつかのプラグマが含まれている。 ソフトウェア開発者がプログラムを設計するのは比較的簡単だが、プラグマを設計するためのハードウェア知識に大きく依存しており、ソフトウェア開発者にとって大きな課題となっている。 近年、GNNのような異なる機械学習アルゴリズムが、性能予測によるプラグマ設計を自動化するために提案されている。 しかし、トレーニングされたモデルを新しいカーネルに適用する場合、大きなドメインシフトは、しばしば満足のいくパフォーマンスをもたらす。 GNNモデルに柔軟に適用可能な2段階の階層的エキスパート混合(MoE)モデル構造を提案する。 異なる専門家ネットワークは、表現空間内の異なる領域に対処することを学ぶことができ、それらは古いカーネルと新しいカーネルの間の同様のパターンを利用することができる。 低レベル MoE では、プログラムの3つの自然な粒度(ノード、基本ブロック、グラフ)に MoE を適用する。 ハイレベルなMoEは、最終決定のために3つの粒度を集約することを学ぶ。 階層型MoEを安定的に訓練するために,さらに2段階の訓練手法を提案する。 大規模な実験により、階層型MoEの有効性が検証された。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph [63.87660059104077]
  RepoGraphは、現代のAIソフトウェアエンジニアリングソリューションのためのリポジトリレベルの構造を管理するプラグインモジュールである。 RepoGraphはすべてのシステムのパフォーマンスを大幅に向上させ、オープンソースフレームワークの間で新たな最先端技術を生み出している。
  論文  参考訳（メタデータ） (2024-10-03T05:45:26Z)
• Cross-Modality Program Representation Learning for Electronic Design Automation with High-Level Synthesis [45.471039079664656]
  ドメイン固有アクセラレータ(DSA)は、ディープラーニングや自律運転などのアプリケーションで人気を集めている。 本稿では,ソースコードシーケンスのモダリティとグラフのモダリティを深く,きめ細かな方法で相互作用できるモデルであるProgSGを提案する。 ProgSGは、設計性能予測のRMSEを最大22%の価格で削減し、設計を平均1.10Times$で識別する。
  論文  参考訳（メタデータ） (2024-06-13T22:34:58Z)
• MATADOR: Automated System-on-Chip Tsetlin Machine Design Generation for Edge Applications [0.2663045001864042]
  本稿では,GUIインタフェースを備えた自動シリコンツールであるMATADORについて述べる。 モデルトレーニング、システムレベルの設計生成、設計検証、デプロイメントという、完全な開発パイプラインの自動化を提供する。 MATADOR加速器の設計は、最先端の量子化およびバイナリディープニューラルネットワークの実装と比較して最大13.4倍、最大7倍、最大2倍の電力効率を持つことが示されている。
  論文  参考訳（メタデータ） (2024-03-03T10:31:46Z)
• Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
  コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
  論文  参考訳（メタデータ） (2023-10-30T02:04:20Z)
• ProgSG: Cross-Modality Representation Learning for Programs in Electronic Design Automation [38.023395256208055]
  高レベル合成(HLS)により、開発者はCとC++のソフトウェアコード形式で高レベルな記述をコンパイルできる。 HLSツールは相変わらず、プラグマで表されるマイクロアーキテクチャの決定を必要とする。 本稿では,ソースコードシーケンスのモダリティとグラフのモダリティを深く,きめ細かな方法で相互に相互作用させることができるProgSGを提案する。
  論文  参考訳（メタデータ） (2023-05-18T09:44:18Z)
• LegoNN: Building Modular Encoder-Decoder Models [117.47858131603112]
  最先端のエンコーダ・デコーダモデルは、原子単位として構築され、訓練されたエンドツーエンドである。 モデルのどのコンポーネントも他のコンポーネントなしでは(再)使用できないため、部品の共有は不可能です。 LegoNNは、エンコーダ-デコーダアーキテクチャを、微調整を必要とせずに、その部品を他のタスクに適用できる方法で構築する手順である。
  論文  参考訳（メタデータ） (2022-06-07T14:08:07Z)
• A Framework for Interdomain and Multioutput Gaussian Processes [22.62911488724047]
  GPにおける拡張的近似推論のための数学的およびソフトウェアフレームワークを提案する。 GPflowで実装された当社のフレームワークは,既存のマルチアウトプットモデルに統一されたインターフェースを提供する。
  論文  参考訳（メタデータ） (2020-03-02T16:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。