論文の概要: Offline Reinforcement-Learning-Based Power Control for Application-Agnostic Energy Efficiency

• arxiv url: http://arxiv.org/abs/2601.11352v1
• Date: Fri, 16 Jan 2026 15:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.530934
• Title: Offline Reinforcement-Learning-Based Power Control for Application-Agnostic Energy Efficiency
• Title（参考訳）: オフライン強化学習によるエネルギー効率向上のための電力制御
• Authors: Akhilesh Raj, Swann Perarnau, Aniruddha Gokhale, Solomon Bekele Abera,
• Abstract要約: オフライン強化学習は、自律CPU電源コントローラの設計のための代替アプローチである。 オフラインRLは、トレーニング前に任意のポリシから収集された状態遷移のデータセットを活用することで、オンラインRLトレーニングによって引き起こされる問題を回避している。 提案手法は,オンラインアプリケーションに依存しない性能データとハードウェア性能カウンタを組み合わせることで,科学的目的が限られた性能劣化に対応することを保証し,オフラインRLをエネルギー効率に対するグレーボックスアプローチに適用する。
• 参考スコア（独自算出の注目度）: 0.20999222360659608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy efficiency has become an integral aspect of modern computing infrastructure design, impacting the performance, cost, scalability, and durability of production systems. The incorporation of power actuation and sensing capabilities in CPU designs is indicative of this, enabling the deployment of system software that can actively monitor and adjust energy consumption and performance at runtime. While reinforcement learning (RL) would seem ideal for the design of such energy efficiency control systems, online training presents challenges ranging from the lack of proper models for setting up an adequate simulated environment, to perturbation (noise) and reliability issues, if training is deployed on a live system. In this paper we discuss the use of offline reinforcement learning as an alternative approach for the design of an autonomous CPU power controller, with the goal of improving the energy efficiency of parallel applications at runtime without unduly impacting their performance. Offline RL sidesteps the issues incurred by online RL training by leveraging a dataset of state transitions collected from arbitrary policies prior to training. Our methodology applies offline RL to a gray-box approach to energy efficiency, combining online application-agnostic performance data (e.g., heartbeats) and hardware performance counters to ensure that the scientific objectives are met with limited performance degradation. Evaluating our method on a variety of compute-bound and memory-bound benchmarks and controlling power on a live system through Intel's Running Average Power Limit, we demonstrate that such an offline-trained agent can substantially reduce energy consumption at a tolerable performance degradation cost.
• Abstract（参考訳）: エネルギー効率は現代のコンピューティング基盤設計において重要な側面となり、生産システムの性能、コスト、スケーラビリティ、耐久性に影響を与えている。 CPU設計におけるパワーアクティベーションとセンサ機能の導入は、実行時のエネルギー消費とパフォーマンスをアクティブに監視し調整できるシステムソフトウェアをデプロイ可能にすることを示唆している。 強化学習(RL)は、このようなエネルギー効率制御システムの設計に最適と思われるが、オンライントレーニングは、適切なシミュレートされた環境を構築するための適切なモデルが欠如していることから、ライブシステムにトレーニングを配置した場合の摂動(ノイズ)や信頼性の問題まで、課題を提示する。 本稿では,自律型CPU電力制御装置の設計における代替手法としてオフライン強化学習を用いることについて論じる。 オフラインRLは、トレーニング前に任意のポリシーから収集された状態遷移のデータセットを活用することで、オンラインRLトレーニングによって引き起こされる問題を傍受する。 本手法は,オンラインアプリケーションに依存しないパフォーマンスデータ(例えば心拍数)とハードウェア性能カウンタを組み合わせることで,科学的目的が限られた性能劣化に満たされることを保証し,オフラインRLをエネルギー効率に対するグレーボックスアプローチに適用する。 計算バウンドおよびメモリバウンドの様々なベンチマークにおける手法の評価と,IntelのRunning Average Power Limitによるライブシステムの電力制御を行い,このようなオフライン学習エージェントが性能劣化の許容コストで消費電力を大幅に削減できることを実証した。

関連論文リスト

• Joint Resource Management for Energy-efficient UAV-assisted SWIPT-MEC: A Deep Reinforcement Learning Approach [50.52139512096988]
  6G Internet of Things (IoT)ネットワークは、地上インフラストラクチャが利用できない遠隔地や災害シナリオにおいて、課題に直面している。 本稿では、指向性アンテナにより強化された新しい無人航空機(UAV)支援コンピューティングシステムを提案する。
  論文  参考訳（メタデータ） (2025-05-06T06:46:19Z)
• Improving the Efficiency of a Deep Reinforcement Learning-Based Power Management System for HPC Clusters Using Curriculum Learning [1.1380162891529537]
  機械学習はノードのオン/オフに最適な時間を決定することを約束している。 本研究では、カリキュラム学習(CL)を統合することで、HPC電力管理のための深層強化学習(DRL)エージェントの性能を向上させる。 実験結果から, 無駄なエネルギー使用量を減らすという点で, 容易にハードなカリキュラムは, 他の訓練命令よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2025-02-27T18:19:22Z)
• Optimizing Load Scheduling in Power Grids Using Reinforcement Learning and Markov Decision Processes [0.0]
  本稿では,動的負荷スケジューリングの課題に対処する強化学習(RL)手法を提案する。 提案手法は実時間負荷スケジューリングのためのロバストでスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-23T09:16:22Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• A Reinforcement Learning Approach for Performance-aware Reduction in Power Consumption of Data Center Compute Nodes [0.46040036610482665]
  我々はReinforcement Learningを使用して、クラウド計算ノード上での電力供給ポリシーを設計する。 実ハードウェア上でトレーニングされたエージェントが、消費電力とアプリケーションパフォーマンスのバランスをとることで、どのように行動を起こすかを示す。
  論文  参考訳（メタデータ） (2023-08-15T23:25:52Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)
• Optimizing Attention and Cognitive Control Costs Using Temporally-Layered Architectures [0.9831489366502302]
  生物学的制御は、計算エネルギー支出と決定頻度を最適化しながら、顕著な性能を達成する。 我々は,強化学習環境においてエージェントが利用できる決定数や計算エネルギーを制限する決定境界マルコフ決定プロセス(DB-MDP)を提案する。 生物学的に着想を得たTLA(Temporally Layered Architecture)を導入し、エージェントが時間スケールとエネルギー要求の異なる2つの層を通じて計算コストを管理できるようにする。
  論文  参考訳（メタデータ） (2023-05-30T02:59:06Z)
• Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training [71.7750435554693]
  電力系統制御のために提案された最先端のRLエージェントが敵攻撃に対して脆弱であることを示す。 具体的には、敵のマルコフ決定プロセスを用いて攻撃方針を学習し、攻撃の有効性を実証する。 本稿では,RLエージェントの攻撃に対する堅牢性を高め,実行不可能な運用上の決定を回避するために,敵の訓練を利用することを提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。