論文の概要: Metrics and evaluations for computational and sustainable AI efficiency
- arxiv url: http://arxiv.org/abs/2510.17885v1
- Date: Sat, 18 Oct 2025 03:30:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:12.25816
- Title: Metrics and evaluations for computational and sustainable AI efficiency
- Title(参考訳): 計算と持続可能なAI効率のメトリクスと評価
- Authors: Hongyuan Liu, Xinyang Liu, Guosheng Hu,
- Abstract要約: 現在のアプローチでは全体像の提供に失敗し、システムの比較と最適化が難しい。
本稿では,計算および環境メトリクスを統合するAIモデル推論のための統一的再現可能な方法論を提案する。
本フレームワークは, 遅延を系統的に測定し, スループット, エネルギー消費, 位置調整二酸化炭素排出量を計測することにより, 実用的で炭素を意識した評価を行う。
- 参考スコア(独自算出の注目度): 26.52588349722099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Artificial Intelligence (AI) has created unprecedented demands for computational power, yet methods for evaluating the performance, efficiency, and environmental impact of deployed models remain fragmented. Current approaches often fail to provide a holistic view, making it difficult to compare and optimise systems across heterogeneous hardware, software stacks, and numeric precisions. To address this gap, we propose a unified and reproducible methodology for AI model inference that integrates computational and environmental metrics under realistic serving conditions. Our framework provides a pragmatic, carbon-aware evaluation by systematically measuring latency and throughput distributions, energy consumption, and location-adjusted carbon emissions, all while maintaining matched accuracy constraints for valid comparisons. We apply this methodology to multi-precision models across diverse hardware platforms, from data-centre accelerators like the GH200 to consumer-level GPUs such as the RTX 4090, running on mainstream software stacks including PyTorch, TensorRT, and ONNX Runtime. By systematically categorising these factors, our work establishes a rigorous benchmarking framework that produces decision-ready Pareto frontiers, clarifying the trade-offs between accuracy, latency, energy, and carbon. The accompanying open-source code enables independent verification and facilitates adoption, empowering researchers and practitioners to make evidence-based decisions for sustainable AI deployment.
- Abstract(参考訳): 人工知能(AI)の急速な進歩は、計算能力に対する前例のない要求を生み出したが、デプロイされたモデルの性能、効率、環境への影響を評価する方法はまだ断片化されている。
現在のアプローチは概観を得られず、異種ハードウェア、ソフトウェアスタック、数値精度でシステムを比較、最適化することは困難である。
このギャップに対処するために、現実的なサービス条件下で計算と環境のメトリクスを統合する、AIモデル推論のための統一的で再現可能な方法論を提案する。
本フレームワークは, 待ち時間, スループット分布, エネルギー消費, および位置調整炭素排出量を系統的に測定し, 一致した精度制約を有効比較のために維持し, 実用的, 炭素認識評価を行う。
我々は,GH200のようなデータ中心のアクセラレータから,PyTorch,TensorRT,ONNX Runtimeなどの主流ソフトウェアスタック上で動作するRTX 4090のようなコンシューマレベルのGPUに至るまで,さまざまなハードウェアプラットフォームにわたるマルチ精度モデルに適用する。
これらの要因を体系的に分類することで、私たちの研究は、正確性、レイテンシ、エネルギー、炭素間のトレードオフを明確にし、決定可能なParetoフロンティアを生成する厳密なベンチマークフレームワークを確立します。
付随するオープンソースコードは、独立した検証を可能にし、採用を促進し、研究者や実践者が持続可能なAIデプロイメントのためのエビデンスベースの決定を行う権限を与える。
関連論文リスト
- ECORE: Energy-Conscious Optimized Routing for Deep Learning Models at the Edge [17.74343318260183]
ECOREは、複数の動的ルーティング戦略を統合するフレームワークである。
ECOREは、物体の特性に基づいてエネルギー効率と検出性能のバランスをとる。
その結果,提案したコンテキスト対応ルーティング手法は,エネルギー消費と遅延をそれぞれ35%,遅延を49%削減できることがわかった。
論文 参考訳(メタデータ) (2025-07-08T14:16:14Z) - WattsOnAI: Measuring, Analyzing, and Visualizing Energy and Carbon Footprint of AI Workloads [8.545822371190125]
WattsOnAIは、AIワークロード全体にわたるエネルギー使用、電力引き込み、ハードウェアパフォーマンス、二酸化炭素排出量の測定、分析、可視化のための包括的なソフトウェアツールキットである。
既存のAIフレームワークとシームレスに統合することで、WattsOnAIは標準化されたレポートを提供し、詳細な時系列データをエクスポートする。
WattsOnAIは、研究コミュニティに対して、AIワークロードの生のパフォーマンスとともに環境への影響を評価することを奨励し、より持続可能な"グリーンAI"プラクティスへの移行を進める。
論文 参考訳(メタデータ) (2025-06-25T15:24:45Z) - Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳(メタデータ) (2025-05-03T13:55:38Z) - Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。
BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。
我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文 参考訳(メタデータ) (2024-12-03T19:20:08Z) - Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA [20.629635991749808]
本稿では,フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータを効率よく生成するアルゴリズムとハードウェアの共同設計フレームワークを提案する。
アルゴリズムレベルでは、計算とメモリのオーバーヘッドを低減した、新しいマルチエグジット・ドロップアウトベースのベイズNNを提案する。
ハードウェアレベルでは,提案する効率的なベイズNNのためのFPGAベースのアクセラレータを生成するための変換フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-20T17:08:42Z) - Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。
Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。
レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
論文 参考訳(メタデータ) (2023-07-19T01:05:33Z) - A Comparative Study of Machine Learning Algorithms for Anomaly Detection
in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。
Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。
しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
論文 参考訳(メタデータ) (2023-07-01T15:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。