Fugu-MT 論文翻訳(概要): GREEN-CODE: Learning to Optimize Energy Efficiency in LLM-based Code Generation

論文の概要: GREEN-CODE: Learning to Optimize Energy Efficiency in LLM-based Code Generation

arxiv url: http://arxiv.org/abs/2501.11006v2
Date: Fri, 21 Mar 2025 15:07:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-24 14:54:36.864350
Title: GREEN-CODE: Learning to Optimize Energy Efficiency in LLM-based Code Generation
Title（参考訳）: GREEN-CODE:LLMコード生成におけるエネルギー効率の最適化学習
Authors: Shashikant Ilager, Lukas Florian Briem, Ivona Brandic,
Abstract要約: 本研究では,Large Language Models (LLM) におけるエネルギーを考慮したコード生成フレームワークを提案する。我々は、正確性、レイテンシ、エネルギー消費のトレードオフのバランスをとることを学ぶ強化学習エージェント(RL)を訓練する。その結果,コード生成作業における平均23～50パーセントのエネルギー消費を,精度に悪影響を及ぼすことなく削減できることが示唆された。
参考スコア（独自算出の注目度）: 1.5749416770494706
License:
Abstract: Large Language Models (LLMs) are becoming integral to daily life, showcasing their vast potential across various Natural Language Processing (NLP) tasks. Beyond NLP, LLMs are increasingly used in software development tasks, such as code completion, modification, bug fixing, and code translation. Software engineers widely use tools like GitHub Copilot and Amazon Q, streamlining workflows and automating tasks with high accuracy. While the resource and energy intensity of LLM training is often highlighted, inference can be even more resource-intensive over time, as it's a continuous process with a high number of invocations. Therefore, developing resource-efficient alternatives for LLM inference is crucial for sustainability. This work proposes GREEN-CODE, a framework for energy-aware code generation in LLMs. GREEN-CODE performs dynamic early exit during LLM inference. We train a Reinforcement Learning (RL) agent that learns to balance the trade-offs between accuracy, latency, and energy consumption. Our approach is evaluated on two open-source LLMs, Llama 3.2 3B and OPT 2.7B, using the JavaCorpus and PY150 datasets. Results show that our method reduces the energy consumption between 23-50 % on average for code generation tasks without significantly affecting accuracy.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにまたがって、日々の生活に不可欠なものになりつつある。 NLP以外にも、LLMは、コード補完、修正、バグ修正、コード翻訳といったソフトウェア開発タスクでますます使われている。ソフトウェアエンジニアはGitHub CopilotやAmazon Qといったツールを広く使い、ワークフローの合理化やタスクの自動化を高精度に行っている。 LLMトレーニングのリソースとエネルギーの強度は強調されることが多いが、推論はより多くの呼び出しを伴う継続的プロセスであるため、時間とともにさらにリソース集約化される可能性がある。したがって、LLM推論のための資源効率の良い代替案の開発は持続可能性に不可欠である。本研究は,LLMにおけるエネルギー認識コード生成フレームワークであるGREEN-CODEを提案する。 GREEN-CODEはLSM推論中に動的早期出口を実行する。我々は、正確性、レイテンシ、エネルギー消費のトレードオフのバランスをとることを学ぶ強化学習エージェント(RL)を訓練する。提案手法は,JavaCorpus と PY150 のデータセットを用いて,Llama 3.2 3B と OPT 2.7B の2つのオープンソース LLM を用いて評価した。その結果,コード生成作業における平均23～50パーセントのエネルギー消費を,精度に悪影響を及ぼすことなく削減できることが示唆された。

関連論文リスト

AI-Powered, But Power-Hungry? Energy Efficiency of LLM-Generated Code [45.77395425799378]
本稿では,Python,Java,C++の3つのプログラミング言語に対して,LLM生成コードのエネルギー効率と性能を初めて解析する。結果から,C++ コードよりも Python と Java の生成に成功していることがわかった。
論文参考訳（メタデータ） (2025-02-04T15:32:34Z)
Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文参考訳（メタデータ） (2024-11-06T10:28:46Z)
Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
論文参考訳（メタデータ） (2024-10-09T08:23:22Z)
Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
論文参考訳（メタデータ） (2024-08-16T06:37:59Z)
EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
トレーニング環境を適応的に作成するフレームワークであるEnvGenを提案する。我々は、LLM生成環境とLLM生成環境を混合した小さなRLエージェントを訓練する。我々は、EnvGenで訓練された小さなRLエージェントが、GPT-4エージェントを含むSOTAメソッドより優れており、長い水平タスクをかなり高速に学習できることを発見した。
論文参考訳（メタデータ） (2024-03-18T17:51:16Z)
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文参考訳（メタデータ） (2024-02-26T18:59:03Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文参考訳（メタデータ） (2023-11-30T03:59:31Z)
Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文参考訳（メタデータ） (2023-08-21T04:31:06Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。