論文の概要: DOMAC: Differentiable Optimization for High-Speed Multipliers and Multiply-Accumulators

• arxiv url: http://arxiv.org/abs/2503.23943v1
• Date: Mon, 31 Mar 2025 10:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-13 05:54:37.649493
• Title: DOMAC: Differentiable Optimization for High-Speed Multipliers and Multiply-Accumulators
• Title（参考訳）: DOMAC:高速乗算器と乗算器の微分可能最適化
• Authors: Chenhao Xue, Yi Ren, Jinwei Zhou, Kezhi Li, Chen Zhang, Yibo Lin, Lining Zhang, Qiang Xu, Guangyu Sun,
• Abstract要約: DOMACは、特定の技術ノードで乗算器とMACを設計するための微分可能な最適化を利用する新しいアプローチである。 この洞察に基づいて、DOMACは、異なるタイミングと領域の目的を取り入れることで、離散最適化の課題を継続的問題に再構成する。
• 参考スコア（独自算出の注目度）: 25.876084896293058
• License:
• Abstract: Multipliers and multiply-accumulators (MACs) are fundamental building blocks for compute-intensive applications such as artificial intelligence. With the diminishing returns of Moore's Law, optimizing multiplier performance now necessitates process-aware architectural innovations rather than relying solely on technology scaling. In this paper, we introduce DOMAC, a novel approach that employs differentiable optimization for designing multipliers and MACs at specific technology nodes. DOMAC establishes an analogy between optimizing multi-staged parallel compressor trees and training deep neural networks. Building on this insight, DOMAC reformulates the discrete optimization challenge into a continuous problem by incorporating differentiable timing and area objectives. This formulation enables us to utilize existing deep learning toolkit for highly efficient implementation of the differentiable solver. Experimental results demonstrate that DOMAC achieves significant enhancements in both performance and area efficiency compared to state-of-the-art baselines and commercial IPs in multiplier and MAC designs.
• Abstract（参考訳）: 乗算器と乗算器(MAC)は、人工知能のような計算集約的なアプリケーションのための基本的なビルディングブロックである。 ムーアの法則の回帰が減少するにつれ、乗算器のパフォーマンスの最適化は、単に技術のスケーリングに頼るのではなく、プロセス対応のアーキテクチャ革新を必要とするようになった。 本稿では,乗算器とMACを特定の技術ノードで設計するための微分可能な最適化手法であるDOMACを紹介する。 DOMACは、マルチステージ並列コンプレッサーツリーの最適化とディープニューラルネットワークのトレーニングの類似性を確立する。 この洞察に基づいて、DOMACは、異なるタイミングと領域の目的を取り入れることで、離散最適化の課題を継続的問題に再構成する。 この定式化により、既存のディープラーニングツールキットを用いて、微分可能解法の実装を効率的に行うことができる。 実験により、DOMACは、乗算器やMAC設計における最先端のベースラインや商用IPと比較して、性能と面積効率の両面で大幅に向上していることが示された。

関連論文リスト

• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
  本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。 具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。 提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T01:09:23Z)
• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Mixed-precision Neural Networks on RISC-V Cores: ISA extensions for Multi-Pumped Soft SIMD Operations [5.847997723738113]
  現代の組み込みマイクロプロセッサは、混合精度NNを非常に限定的にサポートしている。 本稿では,協調ハードウェア設計,混合精度量子化,ISA拡張,推論を可能にするハードウェア・ソフトウェア共同設計フレームワークを提案する。 我々のフレームワークは、平均15倍のエネルギー削減を1%未満の精度で達成でき、ISA非依存のRISC-Vコアよりも優れています。
  論文  参考訳（メタデータ） (2024-07-19T12:54:04Z)
• RL-MUL 2.0: Multiplier Design Optimization with Parallel Deep Reinforcement Learning and Space Reduction [8.093985979285533]
  強化学習に基づく乗算器設計最適化フレームワークを提案する。 行列とテンソル表現を乗算器の圧縮木に用いて,畳み込みニューラルネットワークをエージェントネットワークとしてシームレスに統合する。 異なるビット幅の乗算器を用いた実験により, 提案手法により生成した乗算器は, 面積, パワー, 遅延の点で, ベースライン全体の設計よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-31T10:43:33Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Structured Pruning of Neural Networks for Constraints Learning [5.689013857168641]
  MIPへの統合に先立って,これらの手法の1つであるプルーニングの有効性を示す。 我々は、複数の層を持つフィードフォワードニューラルネットワークを用いて実験を行い、敵の例を構築した。 以上の結果から,プルーニングは最終決定の質を損なうことなく,解時間を大幅に短縮することを示した。
  論文  参考訳（メタデータ） (2023-07-14T16:36:49Z)
• Heterogeneous Integration of In-Memory Analog Computing Architectures with Tensor Processing Units [0.0]
  本稿では,IMACユニットとエッジTPUを統合してモバイルCNNの性能を向上させる,新しい,異種,混合信号,混合精度アーキテクチャを提案する。 本稿では,TPU-IMACアーキテクチャ上にモデルをデプロイする際の潜在的な精度低下を軽減するために,混合精度トレーニング手法を取り入れた統合学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T19:44:56Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Differentiable Adaptive Computation Time for Visual Reasoning [4.7518908453572]
  本稿では,DACTと呼ばれる適応計算を実現するための新しいアテンションベースアルゴリズムを提案する。 特に,広く知られているMACアーキテクチャへの応用について検討する。 CLEVRデータセットにおいて、使用するステップの最大数を増やすことで、最高の非適応MACであっても精度を上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-27T13:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。