Fugu-MT 論文翻訳(概要): CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization

論文の概要: CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization

arxiv url: http://arxiv.org/abs/2505.01386v3
Date: Wed, 22 Oct 2025 11:03:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:05.517086
Title: CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization
Title（参考訳）: CA Transformers: 共同モデルハードウェア最適化によるカーボンアウェア変換器
Authors: Irene Wang, Newsha Ardalani, Mostafa Elhoushi, Daniel Jiang, Samuel Hsia, Ekin Sumbul, Divya Mahajan, Carole-Jean Wu, Bilge Acun,
Abstract要約: 当社では,Transformerベースのモデルとハードウェアアクセラレーションのための,最初のカーボンを意識した共同最適化フレームワークである,当社のフレームワークを紹介します。本研究は, モデル性能と実行時間性能を損なうことなく, 炭素効率を優先する全体最適化手法の必要性を強調した。
参考スコア（独自算出の注目度）: 15.52721716387361
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning solutions are rapidly adopted to enable a variety of key use cases, from conversational AI assistants to scientific discovery. This growing adoption is expected to increase the associated lifecycle carbon footprint, including both \emph{operational carbon} from training and inference and \emph{embodied carbon} from AI hardware manufacturing. We introduce \ourframework -- the first carbon-aware co-optimization framework for Transformer-based models and hardware accelerators. By integrating both operational and embodied carbon into early-stage design space exploration, \ourframework enables sustainability-driven model architecture and hardware accelerator co-design that reveals fundamentally different trade-offs than latency- or energy-centric approaches. Evaluated across a range of Transformer models, \ourframework consistently demonstrates the potential to reduce total carbon emissions -- by up to 30\% -- while maintaining accuracy and latency. We further highlight its extensibility through a focused case study on multi-modal models. Our results emphasize the need for holistic optimization methods that prioritize carbon efficiency without compromising model capability and execution time performance. The source code of \ourframework is available at {\small{\href{https://github.com/facebookresearch/CATransformers}{\texttt{https://github.com/facebookresearch/CATransformers}}}}.
Abstract（参考訳）: 機械学習ソリューションは、会話型AIアシスタントから科学的発見に至るまで、さまざまな重要なユースケースを可能にするために急速に採用されている。トレーニングと推論による‘emph{operational carbon’と、AIハードウェア製造による‘emph{embodied carbon’の両方を含む。トランスフォーマーベースのモデルとハードウェアアクセラレーションのための、最初の炭素を意識したコ最適化フレームワークである‘ourframework’を紹介します。運用と実施された炭素の両方をアーリーステージの設計空間探索に統合することで、Shaurframeworkは持続可能性駆動型モデルアーキテクチャとハードウェアアクセラレーターの共同設計を可能にし、レイテンシやエネルギー中心のアプローチと根本的に異なるトレードオフを明らかにする。さまざまなトランスフォーマーモデルで評価され、Shaurframeworkは精度とレイテンシを維持しながら、二酸化炭素排出量を最大30倍削減する可能性を一貫して示している。マルチモーダルモデルに焦点をあてたケーススタディを通じて、拡張性をさらに強調する。本研究は, モデル性能と実行時間性能を損なうことなく, 炭素効率を優先する全体最適化手法の必要性を強調した。ソースコードは {\small{\href{https://github.com/facebookresearch/CATransformers}{\textt{https://github.com/facebookresearch/CATransformers}}}} で公開されている。

関連論文リスト

Diffusion-Modeled Reinforcement Learning for Carbon and Risk-Aware Microgrid Optimization [48.70916202664808]
DiffCarl(ディフカール)は、マルチマイクログリッドシステムのインテリジェントな操作のための、拡散モデルによる炭素およびリスクを考慮した強化学習アルゴリズムである。従来のアルゴリズムと最先端のDRLソリューションを2.3-30.1%削減した。また、炭素を意識しない変種よりも28.7%低い炭素排出量を達成し、性能の変動を減少させる。
論文参考訳（メタデータ） (2025-07-22T03:27:07Z)
Carbon-Efficient 3D DNN Acceleration: Optimizing Performance and Sustainability [7.059399419316343]
3D統合はパフォーマンスを向上させるが、持続可能性の問題をもたらす。本稿では3次元加速器の炭素効率設計手法を提案する。提案手法は,高い計算精度を維持しつつ,シリコン面積と製造オーバーヘッドを効果的に低減する。
論文参考訳（メタデータ） (2025-04-14T03:48:37Z)
AOLO: Analysis and Optimization For Low-Carbon Oriented Wireless Large Language Model Services [14.664814078159282]
大規模言語モデル (LLM) は、エネルギー消費と炭素フットプリントの大幅な増加により、懸念が高まっている。低炭素指向の無線LLMサービスの解析と最適化のためのフレームワークであるAOLOを提案する。 AOLOは、LLMサービスチェーン全体にわたる温室効果ガス排出量を定量化する包括的な炭素フットプリントモデルを導入している。 SNNに基づく深部強化学習(SDRL)という低炭素指向最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-03-06T13:21:38Z)
Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文参考訳（メタデータ） (2024-12-03T19:20:08Z)
Carbon Market Simulation with Adaptive Mechanism Design [55.25103894620696]
炭素市場(英: carbon market)は、個人の利益をグローバルユーティリティーと整合させる経済エージェントをインセンティブとする、市場ベースのツールである。階層型モデルフリーマルチエージェント強化学習(MARL)を用いて市場をシミュレートする適応機構設計フレームワークを提案する。 MARLは、政府エージェントが生産性、平等、二酸化炭素排出のバランスをとることができることを示している。
論文参考訳（メタデータ） (2024-06-12T05:08:51Z)
Beyond Efficiency: Scaling AI Sustainably [4.711003829305544]
現代のAIアプリケーションは、コンピューティングにおける需要を継続的に増加させてきた。本稿では, ハードウェア製造における炭素排出量の具体化だけでなく, トレーニングおよび推論からのCO排出の操作を含む, AIの炭素影響を特徴付ける。
論文参考訳（メタデータ） (2024-06-08T00:07:16Z)
Carbon-aware Software Services [3.105112058253643]
本稿では,炭素を意識した対話型ソフトウェアサービスの実装,構成,評価を行う新しいフレームワークを提案する。エネルギー消費の異なる代替サービスバージョンを特徴付けるために,ストラテジーデザインパターンを活用した炭素対応サービスを実装する手法を提案する。我々は、炭素強度とサービス要求の予測に基づいて、その日の異なる時間に使用するバージョンを設定するための二段階最適化スキームを考案する。
論文参考訳（メタデータ） (2024-05-21T08:26:38Z)
Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
論文参考訳（メタデータ） (2024-04-28T05:46:28Z)
A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
論文参考訳（メタデータ） (2023-07-01T15:18:00Z)
Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
論文参考訳（メタデータ） (2022-10-31T04:04:03Z)
Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
論文参考訳（メタデータ） (2022-06-10T17:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。