論文の概要: Energy Efficient Software Hardware CoDesign for Machine Learning: From TinyML to Large Language Models

• arxiv url: http://arxiv.org/abs/2603.23668v1
• Date: Tue, 24 Mar 2026 19:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.003783
• Title: Energy Efficient Software Hardware CoDesign for Machine Learning: From TinyML to Large Language Models
• Title（参考訳）: 機械学習のためのエネルギー効率の良いソフトウェアハードウェア設計:TinyMLから大規模言語モデルへ
• Authors: Mohammad Saleh Vahdatpour, Yanqing Zhang,
• Abstract要約: 本研究は,エッジ推論とトレーニングを対象とするエネルギー効率のよいソフトウェアハードウェア設計手法を,データセンター規模のLCMサービスにレビューする。 共通設計レバーとトレードオフを蒸留し、クロスプラットフォームの一般化、大規模でコストのかかる共同設計の検索スペース、ワークロードとデプロイメント設定間の一貫性のないベンチマークなど、繰り返し発生するギャップを強調します。 最後に、最適化戦略を計算的役割にマッピングし、漸進的適応をサポートし、エネルギーと炭素を意識したMLシステムを構築するための実践的なガイダンスを提供する階層的な分解の観点を概説する。
• 参考スコア（独自算出の注目度）: 0.4852108302782534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid deployment of machine learning across platforms from milliwatt-class TinyML devices to large language models has made energy efficiency a primary constraint for sustainable AI. Across these scales, performance and energy are increasingly limited by data movement and memory-system behavior rather than by arithmetic throughput alone. This work reviews energy efficient software hardware codesign methods spanning edge inference and training to datacenter-scale LLM serving, covering accelerator architectures (e.g., ASIC/FPGA dataflows, processing-/compute-in-memory designs) and system-level techniques (e.g., partitioning, quantization, scheduling, and runtime adaptation). We distill common design levers and trade-offs, and highlight recurring gaps including limited cross-platform generalization, large and costly co-design search spaces, and inconsistent benchmarking across workloads and deployment settings. Finally, we outline a hierarchical decomposition perspective that maps optimization strategies to computational roles and supports incremental adaptation, offering practical guidance for building energy and carbon aware ML systems.
• Abstract（参考訳）: ミリワット級のTinyMLデバイスから大規模言語モデルへのプラットフォーム間の機械学習の迅速な展開により、エネルギー効率は持続可能なAIの主要な制約となっている。 これらのスケール全体では、演算のスループットのみによってではなく、データの動きやメモリシステムの振る舞いによって、パフォーマンスとエネルギはますます制限される。 本研究は,エッジ推論とトレーニングを対象とするエネルギー効率の高いソフトウェアハードウェアコードサイン手法を,データセンタ規模のLCMサービスに適用し,アクセラレータアーキテクチャ(例えば,ASIC/FPGAデータフロー,処理/計算インメモリ設計)とシステムレベルの技術(例えば,パーティショニング,量子化,スケジューリング,実行時適応)をカバーする。 共通設計レバーとトレードオフを蒸留し、クロスプラットフォームの一般化、大規模でコストのかかる共同設計の検索スペース、ワークロードとデプロイメント設定間の一貫性のないベンチマークなど、繰り返し発生するギャップを強調します。 最後に、最適化戦略を計算的役割にマッピングし、漸進的適応をサポートし、エネルギーと炭素を意識したMLシステムを構築するための実践的なガイダンスを提供する階層的な分解の観点を概説する。

関連論文リスト

• MAHL: Multi-Agent LLM-Guided Hierarchical Chiplet Design with Adaptive Debugging [30.305211001929496]
  大きな言語モデル(LLM)は2.5Dに拡張することを約束している。 LLMはフラットな設計、高い検証コスト、不正確なパラメータ最適化といった課題に直面している。 階層型LLMベースのチップレット設計生成フレームワークであるMAHLを提案する。
  論文  参考訳（メタデータ） (2025-08-08T05:47:31Z)
• Scaling Intelligence: Designing Data Centers for Next-Gen Language Models [0.6168147650666682]
  GPT-4のような1.8兆のパラメータを持つ大規模言語モデル(LLM)は、データセンターアーキテクチャの根本的な再考を要求する。 我々の研究は、FLOPS、帯域幅と容量、複数のネットワークトポロジを共同で探求する包括的な協調設計フレームワークを提供する。 我々は、重なり合う計算と通信の利点を定量化し、ハードウェアアクセラレーションされた集合体を活用し、スケールアウト領域を広げ、メモリ容量を増大させる。
  論文  参考訳（メタデータ） (2025-06-17T22:29:37Z)
• Energy Considerations of Large Language Model Inference and Efficiency Optimizations [28.55549828393871]
  大規模言語モデル(LLM)の規模と採用が拡大するにつれて、その計算と環境コストは上昇し続けている。 多様なNLPおよびAIワークロードにまたがる共通推論効率最適化のエネルギー含意を系統的に分析する。 本研究により, 推定効率最適化の適切な適用により, 最適化されていないベースラインから最大73%のエネルギー使用量を削減できることが判明した。
  論文  参考訳（メタデータ） (2025-04-24T15:45:05Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
  現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。 このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。 本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
  論文  参考訳（メタデータ） (2022-11-30T00:32:37Z)
• Scalable Deep-Learning-Accelerated Topology Optimization for Additively Manufactured Materials [4.221095652322005]
  トポロジー最適化(TO)は、新しい構造、材料、デバイスを設計するための、人気があり強力な計算手法である。 これらの課題に対処するため、SDL-TOと呼ばれる汎用拡張型ディープラーニング(DL)ベースのToフレームワークを提案する。 我々のフレームワークは、反復履歴データを学習し、与えられた設計と勾配のマッピングを同時にトレーニングすることで、TOを加速します。
  論文  参考訳（メタデータ） (2020-11-28T17:38:31Z)
• Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights [18.04657939198617]
  本稿では,ハードウェアアクセラレータ上での機械学習モデルのスパースおよび不規則テンソル計算の効率的な実行に関する包括的調査を行う。 異なるハードウェア設計とアクセラレーション技術を分析し、ハードウェアと実行コストの観点から分析する。 スパース、不規則形状、量子化テンソルの加速における重要な課題を理解すること。
  論文  参考訳（メタデータ） (2020-07-02T04:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。