論文の概要: Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models

• arxiv url: http://arxiv.org/abs/2604.25903v1
• Date: Tue, 28 Apr 2026 17:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.983274
• Title: Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models
• Title（参考訳）: Carbon-Taxed Transformers: 過剰言語モデルのためのグリーン圧縮パイプライン
• Authors: Ajmain Inqiad Alam, Palash Roy, Chanchal K. Roy, Banani Roy, Kevin A. Schneider,
• Abstract要約: Carbon-Taxed Transformers (CTT) は、マルチアーキテクチャ圧縮方式のパイプラインオーダである。 CTTは、アーキテクチャ上の非効率性を罰し、デプロイ対応圧縮に報いる計算炭素税を運用している。 その結果, 1) 最大49倍のメモリ削減, (2) クローン検出に最大8～10倍の時間短縮, 要約に最大3倍の時間短縮, 生成に4～7倍の時間短縮が得られた。
• 参考スコア（独自算出の注目度）: 9.374717320061988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The accelerating adoption of Large Language Models (LLMs) in software engineering (SE) has brought with it a silent crisis: unsustainable computational cost. While these models demonstrate remarkable capabilities in different SE tasks, they are unmanageably large, slow to deploy, memory-intensive, and carbon-heavy. This reality threatens not only the scalability and accessibility of AI-powered SE, but also its long-term environmental sustainability. The research challenge is clear: we must go beyond accuracy and address efficiency and environmental cost as first-class design constraints. To meet this challenge, we introduce Carbon-Taxed Transformers (CTT), a systematic multi-architectural compression principled pipeline ordering inspired by economic carbon taxation principles. Drawing from the economic concept of carbon pricing, CTT operationalizes a computational carbon tax that penalizes architectural inefficiencies and rewards deployment-ready compression. We evaluate CTT across three core SE tasks: code clone detection, code summarization, and code generation, with models spanning encoder-only, encoder-decoder, and decoder-only architecture. Our results show that CTT delivers on inference: (1) up to 49x memory reduction, (2) time reduction up to 8-10x for clone detection, up to 3x for summarization, and 4-7x for generation, (3) up to 81% reduction in CO2 emissions and (4) CTT retains around 98% accuracy on clone detection, around 89% on summarization, and up to 91% (textual metrics) and 68% (pass@1) for generation. Two ablation studies show that pipeline ordering and individual component contributions are both essential, providing empirical justification for CTT's design and effectiveness. This work establishes a viable path toward responsible AI in SE through aggressive yet performance-preserving compression.
• Abstract（参考訳）: ソフトウェアエンジニアリング(SE)において、LLM(Large Language Models)の採用が加速していることは、それを静かな危機、すなわち持続不可能な計算コストへと導いた。 これらのモデルは、異なるSEタスクで顕著な機能を示すが、管理不能に大きく、デプロイが遅く、メモリ集約的で、炭素重量である。 この現実は、AI駆動のSEのスケーラビリティとアクセシビリティだけでなく、長期的な環境持続可能性も脅かしている。 第一級の設計制約として、正確性を超えて、効率性と環境コストに対処しなければなりません。 この課題に対処するために、経済的な炭素課税の原則に着想を得たマルチアーキテクチャ圧縮のパイプラインオーダであるCarbon-Taxed Transformers (CTT)を導入する。 CTTは、炭素価格という経済的な概念に基づいて、建築上の非効率性を罰し、展開可能な圧縮に報いる計算的炭素税を運用している。 我々は,コードクローン検出,コード要約,コード生成の3つのコアSEタスクに対して,エンコーダのみ,エンコーダのみ,エンコーダのみ,デコーダのみのアーキテクチャを対象とするCTTを評価した。 CTTは,(1) 最大49倍のメモリ削減,(2) クローン検出に最大8～10倍の時間短縮,(3) 総和化に最大3倍の時間短縮,(4) 総和化に要するCO2排出量の最大81%の削減,(4) CTTはクローン検出に約98%の精度,(2) 総和に約89%, 生成に最大91%の時間短縮と68%(パス@1)の精度を維持した。 2つのアブレーション研究は、パイプラインの順序付けと個々のコンポーネントのコントリビューションが不可欠であることを示し、CTTの設計と有効性に対する実証的な正当化を提供する。 この作業は、アグレッシブでパフォーマンスを保った圧縮を通じて、SEにおける責任あるAIへの実行可能なパスを確立する。

関連論文リスト

• Evaluating the Environmental Impact of using SLMs and Prompt Engineering for Code Generation [2.2165845825140695]
  本稿では,サステナビリティ・ファクターとともにコード生成の精度に異なるエンジニアリング・ストラテジーがどう影響するかを,最初の系統的な実証的研究を行った。 我々は,HumanEval+ベンチマークとMBPP+ベンチマークを用いて,11個のオープンソースモデル(1Bから34Bパラメータ)にまたがる6つの顕著なプロンプト戦略を評価した。 以上の結果から,より単純なプロンプト技術であるChain-of-Thoughtは,推理能力とエネルギー効率のほぼ最適バランスを実現できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-03T06:37:51Z)
• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• EcoSpa: Efficient Transformer Training with Coupled Sparsity [79.5008521101473]
  トランスフォーマーは現代のAIのバックボーンとなっているが、その高い計算要求は重要なシステム課題を引き起こしている。 EcoSpaは、結合した重み行列対を共同で評価し、スパース化する効率的な構造的スパース訓練法である。
  論文  参考訳（メタデータ） (2025-11-09T11:23:43Z)
• Carbon-Aware Orchestration of Integrated Satellite Aerial Terrestrial Networks via Digital Twin [6.097337826307388]
  衛星航空地上ネットワーク(ISATN)は6Gのキーイネーブラーとして想定されている。 この研究は、ISATNのための炭素を意識したオーケストレーションフレームワークを提案することで、エネルギーを意識した以前の研究を前進させる。
  論文  参考訳（メタデータ） (2025-10-01T06:49:42Z)
• CarboFormer: A Lightweight Semantic Segmentation Architecture for Efficient Carbon Dioxide Detection Using Optical Gas Imaging [4.567122178196833]
  二酸化炭素排出量(CO$$)は、環境影響と産業プロセスの両方の重要な指標である。 光ガスイメージング(OGI)のための軽量セマンティックセグメンテーションフレームワークCarboFormerを紹介する。 提案手法は,最適化エンコーダデコーダアーキテクチャと,特殊なマルチスケール機能融合と補助監視戦略を統合したものである。
  論文  参考訳（メタデータ） (2025-05-23T18:01:42Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
  CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。 実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
  論文  参考訳（メタデータ） (2020-10-28T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。