論文の概要: Energy-Aware LLMs: A step towards sustainable AI for downstream applications

• arxiv url: http://arxiv.org/abs/2503.17783v1
• Date: Sat, 22 Mar 2025 14:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:58.266658
• Title: Energy-Aware LLMs: A step towards sustainable AI for downstream applications
• Title（参考訳）: エネルギーを意識したLLM:下流アプリケーションのための持続可能なAIへのステップ
• Authors: Nguyen Phuc Tran, Brigitte Jaumard, Oscar Delgado,
• Abstract要約: LLM(Advanced Large Language Models)は、コミュニケーションネットワークを含む様々な分野に革命をもたらした。 LLMは通常、膨大な計算資源を必要とするため、非常に高いエネルギー消費をもたらす。 本研究では,エネルギー効率とモデル性能のトレードオフを調査するエンドツーエンドパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 0.9012198585960441
• License:
• Abstract: Advanced Large Language Models (LLMs) have revolutionized various fields, including communication networks, sparking an innovation wave that has led to new applications and services, and significantly enhanced solution schemes. Despite all these impressive developments, most LLMs typically require huge computational resources, resulting in terribly high energy consumption. Thus, this research study proposes an end-to-end pipeline that investigates the trade-off between energy efficiency and model performance for an LLM during fault ticket analysis in communication networks. It further evaluates the pipeline performance using two real-world datasets for the tasks of root cause analysis and response feedback in a communication network. Our results show that an appropriate combination of quantization and pruning techniques is able to reduce energy consumption while significantly improving model performance.
• Abstract（参考訳）: LLM(Advanced Large Language Models)は、通信ネットワークを含むさまざまな分野に革命をもたらし、新しいアプリケーションやサービスに繋がるイノベーションの波を引き起こし、ソリューションスキームを大幅に強化した。 これらの驚くべき発展にもかかわらず、ほとんどのLLMは計算資源を必要とするため、非常に高いエネルギー消費をもたらす。 そこで本研究では,通信ネットワークにおける故障チケット解析におけるLCMのエネルギー効率とモデル性能のトレードオフを調査するエンドツーエンドパイプラインを提案する。 さらに、通信ネットワークにおける根本原因分析と応答フィードバックのタスクのために、2つの実世界のデータセットを使用してパイプライン性能を評価する。 この結果から, 定量化法とプルーニング法を適切に組み合わせることで, モデル性能を著しく向上させながら, エネルギー消費を低減できることが示唆された。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Energy-Efficient Flying LoRa Gateways: A Multi-Agent Reinforcement Learning Approach [1.1970409518725493]
  無人航空機(UAV)に搭載された空飛ぶLoRaゲートウェイを配備し、LoRaエンドデバイス(ED)からデータを収集し、中央サーバに送信する。 我々の主な目的は、送信電力(TP)、拡散係数(SF)、帯域幅(W)、EDアソシエーションの合同最適化により、無線LoRaネットワークのグローバルシステムエネルギー効率(EE)を最大化することである。
  論文  参考訳（メタデータ） (2025-02-05T17:16:40Z)
• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Investigating Energy Efficiency and Performance Trade-offs in LLM Inference Across Tasks and DVFS Settings [1.5749416770494706]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて大幅に改善されている。 LLMはリソース集約型であり、トレーニングと推論の両方に広範な計算資源を必要とする。 導入が加速するにつれて、LLMの持続性は重要な問題となっている。
  論文  参考訳（メタデータ） (2025-01-14T16:02:33Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• The Price of Prompting: Profiling Energy Use in Large Language Models Inference [5.254805405012678]
  本稿では,大規模言語モデル推論プロセスにおいて消費されるエネルギーを監視し,分析するフレームワークであるMELODIを紹介する。 MELODIを使用して生成されたデータセットは、幅広いLLMデプロイメントフレームワーク、複数の言語モデル、広範なプロンプトデータセットを含んでいる。 その結果,エネルギー効率の相違が指摘され,持続可能対策の最適化と導入の十分な範囲が示唆された。
  論文  参考訳（メタデータ） (2024-07-04T12:16:28Z)
• Hybrid Heterogeneous Clusters Can Lower the Energy Consumption of LLM Inference Workloads [0.2389598109913753]
  大規模言語モデル(LLM)の訓練と使用には大量のエネルギーが必要である。 本稿では, LLM を運用するデータセンターにおけるエネルギー消費削減の課題に対処する。 本稿では,コストベースのスケジューリングフレームワークを用いて,ハードウェアアクセラレータ間でタスクを動的に割り当てるハイブリッドデータセンターモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-25T11:24:08Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Data-driven Energy Efficiency Modelling in Large-scale Networks: An Expert Knowledge and ML-based Approach [8.326834499339107]
  本稿では,通信ネットワーク(SRCON)フレームワークのシミュレーション現実について紹介する。 ライブのネットワークデータを活用し、機械学習(ML)とエキスパートベースのモデルをブレンドする。 その結果、ネットワークエネルギー効率のモデリングにオペレーターが使用する最先端技術よりも大きな効果が得られた。
  論文  参考訳（メタデータ） (2023-12-31T10:03:08Z)
• Multiagent Reinforcement Learning with an Attention Mechanism for Improving Energy Efficiency in LoRa Networks [52.96907334080273]
  ネットワーク規模が大きくなるにつれて、パケット衝突によるLoRaネットワークのエネルギー効率は急激に低下する。 マルチエージェント強化学習(MALoRa)に基づく伝送パラメータ割り当てアルゴリズムを提案する。 シミュレーションの結果,MALoRaはベースラインアルゴリズムと比較してシステムEEを著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:37:23Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。