論文の概要: Carbon Aware Transformers Through Joint Model-Hardware Optimization

• arxiv url: http://arxiv.org/abs/2505.01386v2
• Date: Thu, 08 May 2025 22:21:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:48:53.970103
• Title: Carbon Aware Transformers Through Joint Model-Hardware Optimization
• Title（参考訳）: 結合型モデルハードウェア最適化によるカーボンアウェア変換器
• Authors: Irene Wang, Newsha Ardalani, Mostafa Elhoushi, Daniel Jiang, Samuel Hsia, Ekin Sumbul, Divya Mahajan, Carole-Jean Wu, Bilge Acun,
• Abstract要約: 機械学習システムの炭素フットプリント全体の定量化と最適化を行うツールが不足している。 本稿では,持続可能性駆動型MLモデルとハードウェアアーキテクチャの協調最適化を可能にする,炭素対応アーキテクチャ検索フレームワークであるCATransformersを提案する。 このフレームワークをマルチモーダルCLIPモデルに適用し,CLIPモデル群であるCarbonCLIPを最大17%削減した。
• 参考スコア（独自算出の注目度）: 6.731982787210602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of machine learning (ML) systems necessitates a more comprehensive evaluation of their environmental impact, particularly their carbon footprint, which comprises operational carbon from training and inference execution and embodied carbon from hardware manufacturing and its entire life-cycle. Despite the increasing importance of embodied emissions, there is a lack of tools and frameworks to holistically quantify and optimize the total carbon footprint of ML systems. To address this, we propose CATransformers, a carbon-aware architecture search framework that enables sustainability-driven co-optimization of ML models and hardware architectures. By incorporating both operational and embodied carbon metrics into early design space exploration of domain-specific hardware accelerators, CATransformers demonstrates that optimizing for carbon yields design choices distinct from those optimized solely for latency or energy efficiency. We apply our framework to multi-modal CLIP-based models, producing CarbonCLIP, a family of CLIP models achieving up to 17% reduction in total carbon emissions while maintaining accuracy and latency compared to state-of-the-art edge small CLIP baselines. This work underscores the need for holistic optimization methods to design high-performance, environmentally sustainable AI systems.
• Abstract（参考訳）: 機械学習(ML)システムの急速な成長は、その環境影響のより包括的な評価を必要とする。特に、トレーニングと推論実行からの運転炭素と、ハードウェア製造とそのライフサイクル全体からの実施炭素を含む炭素フットプリントである。 エボディードエミッションの重要性が増しているにもかかわらず、MLシステムの炭素フットプリント全体の定量化と最適化を行うツールやフレームワークが不足している。 そこで本研究では,持続可能性駆動型MLモデルとハードウェアアーキテクチャの協調最適化を実現する,カーボンアウェアアーキテクチャ検索フレームワークであるCATransformersを提案する。 CATransformersは、運用と実施された炭素メトリクスの両方を、ドメイン固有のハードウェアアクセラレータの初期の設計空間探索に組み込むことで、炭素の最適化が、レイテンシやエネルギー効率に最適化されたものとは異なる設計選択をもたらすことを実証している。 このフレームワークをマルチモーダルCLIPモデルに適用し,CLIPモデル群であるCarbonCLIPを作成した。 この研究は、高性能で環境に優しいAIシステムを設計するための全体最適化手法の必要性を浮き彫りにしている。

関連論文リスト

• CoFormer: Collaborating with Heterogeneous Edge Devices for Scalable Transformer Inference [34.693462786320545]
  CoFormerは一般的なトランスモデルの協調推論システムである。 CoFormerはエッジデバイス上で16億のパラメータを持つGPT2-XLの効率的な推論を可能にし、メモリ要求を76.3%削減した。
  論文  参考訳（メタデータ） (2025-08-28T02:50:12Z)
• Diffusion-Modeled Reinforcement Learning for Carbon and Risk-Aware Microgrid Optimization [48.70916202664808]
  DiffCarl(ディフカール)は、マルチマイクログリッドシステムのインテリジェントな操作のための、拡散モデルによる炭素およびリスクを考慮した強化学習アルゴリズムである。 従来のアルゴリズムと最先端のDRLソリューションを2.3-30.1%削減した。 また、炭素を意識しない変種よりも28.7%低い炭素排出量を達成し、性能の変動を減少させる。
  論文  参考訳（メタデータ） (2025-07-22T03:27:07Z)
• Carbon-Efficient 3D DNN Acceleration: Optimizing Performance and Sustainability [7.059399419316343]
  3D統合はパフォーマンスを向上させるが、持続可能性の問題をもたらす。 本稿では3次元加速器の炭素効率設計手法を提案する。 提案手法は,高い計算精度を維持しつつ,シリコン面積と製造オーバーヘッドを効果的に低減する。
  論文  参考訳（メタデータ） (2025-04-14T03:48:37Z)
• AOLO: Analysis and Optimization For Low-Carbon Oriented Wireless Large Language Model Services [14.664814078159282]
  大規模言語モデル (LLM) は、エネルギー消費と炭素フットプリントの大幅な増加により、懸念が高まっている。 低炭素指向の無線LLMサービスの解析と最適化のためのフレームワークであるAOLOを提案する。 AOLOは、LLMサービスチェーン全体にわたる温室効果ガス排出量を定量化する包括的な炭素フットプリントモデルを導入している。 SNNに基づく深部強化学習(SDRL)という低炭素指向最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-06T13:21:38Z)
• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• STAR: Synthesis of Tailored Architectures [61.080157488857516]
  本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。 提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
  論文  参考訳（メタデータ） (2024-11-26T18:42:42Z)
• Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment [3.391499691517567]
  トランスフォーマーモデルはAIタスクに革命をもたらしたが、その大きなサイズはリソース制約やレイテンシクリティカルなエッジデバイスへの実際のデプロイメントを妨げる。 本稿では, アルゴリズム, ハードウェア, 共同最適化の3つの側面から, トランスフォーマーのエンドツーエンド配置を効率的に行うための設計手法を提案する。 実験の結果,2.14-49.37倍のスループット向上と3.72-88.53倍のエネルギー効率を実現した。
  論文  参考訳（メタデータ） (2024-07-16T12:36:10Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Carbon Market Simulation with Adaptive Mechanism Design [55.25103894620696]
  炭素市場(英: carbon market)は、個人の利益をグローバルユーティリティーと整合させる経済エージェントをインセンティブとする、市場ベースのツールである。 階層型モデルフリーマルチエージェント強化学習(MARL)を用いて市場をシミュレートする適応機構設計フレームワークを提案する。 MARLは、政府エージェントが生産性、平等、二酸化炭素排出のバランスをとることができることを示している。
  論文  参考訳（メタデータ） (2024-06-12T05:08:51Z)
• Beyond Efficiency: Scaling AI Sustainably [4.711003829305544]
  現代のAIアプリケーションは、コンピューティングにおける需要を継続的に増加させてきた。 本稿では, ハードウェア製造における炭素排出量の具体化だけでなく, トレーニングおよび推論からのCO排出の操作を含む, AIの炭素影響を特徴付ける。
  論文  参考訳（メタデータ） (2024-06-08T00:07:16Z)
• Carbon-aware Software Services [3.105112058253643]
  本稿では,炭素を意識した対話型ソフトウェアサービスの実装,構成,評価を行う新しいフレームワークを提案する。 エネルギー消費の異なる代替サービスバージョンを特徴付けるために,ストラテジーデザインパターンを活用した炭素対応サービスを実装する手法を提案する。 我々は、炭素強度とサービス要求の予測に基づいて、その日の異なる時間に使用するバージョンを設定するための二段階最適化スキームを考案する。
  論文  参考訳（メタデータ） (2024-05-21T08:26:38Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Benchmarking and In-depth Performance Study of Large Language Models on Habana Gaudi Processors [5.432613942292548]
  トランスフォーマーモデルは、様々な機械学習タスクにおいて顕著な成功を収めてきたが、高い計算複雑性とリソース要求に悩まされている。 Habana GAUDIアーキテクチャのような専門的なAIハードウェアアクセラレータは、これらの問題に対処するための有望なソリューションを提供する。 本稿では,GAUDIプロセッサを用いてTransformerベースのモデルを高速化する未解決の可能性について検討し,そのプロセスにおける重要な課題に対処する。
  論文  参考訳（メタデータ） (2023-09-29T04:49:35Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
  炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。 我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
  論文  参考訳（メタデータ） (2022-10-31T04:04:03Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers [115.90778814368703]
  目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。