論文の概要: Learning to Run Power Networks: Effective AlphaZero-inspired Topological Control

• arxiv url: http://arxiv.org/abs/2608.14114v1
• Date: Fri, 14 Aug 2026 09:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.336219
• Title: Learning to Run Power Networks: Effective AlphaZero-inspired Topological Control
• Title（参考訳）: 電力ネットワークの学習:AlphaZeroにインスパイアされた効果的なトポロジカル制御
• Abstract要約: 本稿では,モデルに基づくAlphaZeroによるアクティブグリッド管理の有効性について検討する。 最適化されたAlphaZeroアプローチは98.43%のピーク生存性を達成し、PPO(英語版)の変種を著しく上回っていることを示す。 AlphaZeroは、トポロジカルな制御のための強力なフレームワークであるが、純粋な強化学習では不十分である。
• 参考スコア（独自算出の注目度）: 4.9058221615757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the integration of volatile renewable energy sources increases the strain on modern power grids, the use of Reinforcement Learning (RL) for autonomous topological reconfiguration has emerged as a promising research field to keep strained grids stable and operational. Compared to traditional redispatching measures, topological actions offer a cheaper and more cost-effective way to manage grid congestion. However, their implementation is hindered by a vast combinatorial action space and strict operational constraints. This paper investigates the effectiveness of model-based AlphaZero-inspired approaches that utilize Monte Carlo Tree Search (MCTS) for proactive grid management. We systematically evaluate how reward functions, observation density, and search guidance influence an agent's survivability. Our results demonstrate that the optimized AlphaZero approach achieves a peak survivability of 98.43%, significantly outperforming the proximal policy optimization (PPO) variant. We find that conducting the MCTS without guidance from a prior learned policy or value function can enhance training efficiency, and that a straightforward binary survival reward provides more effective search guidance than complex, multi-objective functions. Our findings demonstrate that while AlphaZero is a powerful framework for topological control, pure reinforcement learning is not sufficient; rather, an effective and reliable system requires a 'minimalist' integration of domain-specific heuristics, binary rewards, and a restricted observation space of line loads.
• Abstract（参考訳）: 揮発性再生可能エネルギー源の統合により、現代の電力網の歪みが増大するにつれて、自律的なトポロジカル再構成のための強化学習(RL)の使用が、ひずみ格子の安定と運用を維持するための有望な研究分野として浮上している。 従来の再分散対策と比較して、トポロジカルな行動は、グリッドの混雑を管理するためのより安く、よりコスト効率の良い方法を提供する。 しかし、それらの実装は、膨大な組合せアクション空間と厳密な運用上の制約によって妨げられている。 本稿では,モンテカルロ木探索 (MCTS) を用いたモデルベースAlphaZeroにインスパイアされた手法の有効性について検討する。 我々は,報酬関数,観測密度,探索誘導がエージェントの生存可能性に与える影響を体系的に評価した。 その結果、最適化されたAlphaZeroアプローチは98.43%のピーク生存率を実現し、PPO(英語版)の変動を著しく上回る結果となった。 MCTSを事前の学習方針や値関数からのガイダンスなしで実施することで、トレーニング効率が向上し、単純なバイナリサバイバル報酬が複雑な多目的関数よりも効果的な検索ガイダンスを提供することがわかった。 我々はAlphaZeroがトポロジカル・コントロールの強力なフレームワークであるのに対し、純粋な強化学習は十分ではなく、より効果的で信頼性の高いシステムは、ドメイン固有のヒューリスティック、バイナリ・リワード、およびライン・ロードの制限された観測空間の「ミニマリスト」統合を必要とすることを示した。

関連論文リスト

• Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。 我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。 当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
  論文  参考訳（メタデータ） (2026-05-15T08:22:59Z)
• SOE: Sample-Efficient Robot Policy Self-Improvement via On-Manifold Exploration [58.05143960563826]
  On-Manifold Exploration (SOE)は、ロボット操作におけるポリシー探索と改善を強化するフレームワークである。 SOEはタスク関連因子のコンパクトな潜在表現を学習し、有効なアクションの多様体への制約探索を行う。 プラグインモジュールとして任意のポリシモデルとシームレスに統合することができ、基本ポリシのパフォーマンスを低下させることなく、探索を強化することができる。
  論文  参考訳（メタデータ） (2025-09-23T17:54:47Z)
• Power Grid Control with Graph-Based Distributed Reinforcement Learning [60.49805771047161]
  この作業は、リアルタイムでスケーラブルなグリッド管理のためのグラフベースの分散強化学習フレームワークを前進させる。 グラフニューラルネットワーク(GNN)を使用して、ネットワークのトポロジ情報を単一の低レベルエージェントの観測内にエンコードする。 Grid2Opシミュレーション環境での実験は、このアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2025-09-02T22:17:25Z)
• Application of LLM Guided Reinforcement Learning in Formation Control with Collision Avoidance [1.1718316049475228]
  マルチエージェントシステム(Multi-Agent Systems、MAS)は、個々のエージェントの協調作業を通じて複雑な目的を達成する。 本稿では,効果的な報酬関数を設計する上での課題を克服する新しい枠組みを提案する。 タスクの優先順位付けにおいて,大規模言語モデル(LLM)を付与することにより,オンライン上で動的に調整可能な報酬関数を生成する。
  論文  参考訳（メタデータ） (2025-07-22T09:26:00Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Graph-Enhanced Model-Free Reinforcement Learning Agents for Efficient Power Grid Topological Control [0.24578723416255752]
  本稿では,従来の知識を使わずに電力ネットワークの運用を最適化することを目的とした,強化学習のモデルフリーフレームワークにおける新しいアプローチを提案する。 提案手法は,停電に対するグリッド安定性を確保しつつ,一貫した電力損失削減を実現することを実証する。
  論文  参考訳（メタデータ） (2025-03-26T16:20:30Z)
• Learning Topology Actions for Power Grid Control: A Graph-Based Soft-Label Imitation Learning Approach [1.438236614765323]
  我々は、渋滞管理に適したグリッドトポロジを見つけるために、新しいImitation Learning (IL)アプローチを導入する。 一つの最適な動作を強制するためにハードラベルに依存する従来のIL法とは異なり,本手法では,グリッドの混雑解消に適した動作の有効性を捉えるソフトラベルを構築している。 我々のアプローチは、最先端のDeep Reinforcement Learning(DRL)ベースラインエージェントと同様に、ハードラベルのエージェントよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-03-19T13:21:18Z)
• Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation [72.24964965882783]
  強化学習(RL)はロボットナビゲーションにおいて有望なアプローチであり、ロボットは試行錯誤を通じて学習することができる。 現実世界のロボットタスクは、しばしばまばらな報酬に悩まされ、非効率な探索と準最適政策に繋がる。 本稿では,RLに基づくロボットナビゲーションにおいて,報酬関数を変更せずにサンプル効率を向上させる新しい手法であるConfidence-Controlled Exploration (CCE)を紹介する。
  論文  参考訳（メタデータ） (2023-06-09T18:45:15Z)
• Managing power grids through topology actions: A comparative study between advanced rule-based and reinforcement learning agents [1.8549313085249322]
  電力網の運用は、現在の高潮と再生可能エネルギー生産の増加により、ますます複雑になっている。 強化学習(Reinforcement Learning)は効率的かつ信頼性の高い手法であり,グリッドの自動操作の可能性も高いことが示されている。 本稿では、Binbinchenから提出されたエージェントを分析し、RLとルールベースのアプローチの両方において、エージェントを改善するための新しい戦略を提供する。
  論文  参考訳（メタデータ） (2023-04-03T07:34:43Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。