論文の概要: Reinforcement learning on the EPRI AI-ccelerating Unit Commitment benchmark: diagnosing over-commitment and guiding MILP with learned policies

• arxiv url: http://arxiv.org/abs/2610.25544v1
• Date: Sun, 18 Oct 2026 21:31:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:06:17.552397
• Title: Reinforcement learning on the EPRI AI-ccelerating Unit Commitment benchmark: diagnosing over-commitment and guiding MILP with learned policies
• Title（参考訳）: EPRIAI加速ユニットコミットベンチマークによる強化学習:過剰コミットの診断と学習方針によるMILPの指導
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、単位コミットメントの高速解法としてますます提案されている。 しかし、スタンドアロンエージェントは、MILP(mixed-integer linear programming)よりもはるかに高価である。 得られたポリシーが正確な解法を加速できることが示される。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License:
• Abstract: Reinforcement learning (RL) is increasingly proposed as a fast solver for unit commitment (UC), but standalone agents remain far more expensive than mixed-integer linear programming (MILP). In the first study of RL on the 51-generator, 72-hour benchmark of the Electric Power Research Institute (EPRI) AI-ccelerating Unit Commitment competition, we trace this gap to the agents' own exploration, close most of it, and show that the resulting policy can accelerate an exact solver. In every configuration tested, Proximal Policy Optimisation (PPO) and an action-branching Deep Q-Network (DQN) trained from scratch committed about twice the units of a thermal-only MILP optimum, at 39-64% higher cost, whereas a merit-order rule came within 1.6-7% (10-24% when unserved energy is priced). When each unit's decision is sampled independently, spare units insure against random de-commitments. Consistent with this, injecting exploration noise during fine-tuning enlarged a lean policy's fleet, a reward without shaping terms did not remove the over-commitment, and under their training noise the agents outperformed the rule subjected to comparable noise. Imitating the MILP solutions and fine-tuning conservatively brought PPO within 2.6% of the optimum, and these policies had the lowest penalised cost of any evaluated (about 5%). Fixing the fine-tuned policy's confident decisions made the MILP 3.8-8.5 times faster within 0.10-0.25% of the best solution, with a smaller worst case than an imitation-only policy fixing as many variables (1.1% against 8.9%). Because dispatch method and benchmark scope alone shift the reported optimality ratio by up to 3.6% and 9%, we propose a reporting protocol.
• Abstract（参考訳）: 強化学習(RL)は単位コミットメント(UC)の高速解法としてますます提案されているが、スタンドアロンエージェントは混合整数線形プログラミング(MILP)よりもはるかに高価である。 EPRI(Electric Power Research Institute)の72時間ベンチマークである51世代のRLに関する最初の研究において、我々はこのギャップをエージェント自身の探索に遡り、そのほとんどをクローズし、結果として得られるポリシーが正確な解法を加速できることを示す。 テストされたすべての構成において、PPO(Proximal Policy Optimisation)とDQN(Deep Q-Network)は、スクラッチから訓練され、39-64%のコストで熱のみのMILP最適化の2倍のコストを消費した。 各ユニットの判断が独立してサンプリングされると、予備ユニットはランダムな非コミットに対して保証される。 これとは対照的に、微調整中に探索ノイズを注入することで、リーン政策の艦隊を拡大し、条件を定めない報酬は過度な制約を排除せず、訓練ノイズの下では、エージェントは同等の騒音を受けた規則より優れていた。 MILPソリューションの緩和と微調整により、PPOは最適値の2.6%以内となり、これらのポリシーは評価されたものの中で最も低い(約5%)。 MILP 3.8-8.5 の精度は 0.10-0.25% の範囲で改善され、多くの変数 (1.1% 対 8.9%) で修正された模倣のみのポリシーよりも小さい。 ディスパッチ法とベンチマーク範囲だけで報告された最適度比を最大3.6%、9%にシフトするため、報告プロトコルを提案する。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Learning When to Refine: Long-Horizon Reinforcement Learning for Budgeted Neural-Operator PDE Solvers [0.0]
  PDEに対する適応型ニューラル演算解法を定式化する。 グローバル・ニューラル・オペレーターが全フィールドを前進させ、局所オペレーターがパッチワイド残差補正を提案し、セットアウェア・セレクタがどこで精製するかを選択する。 固定改良予算の下では, 局所補正の値は, 自己回帰軌道に対する下流効果に依存することを示す。
  論文  参考訳（メタデータ） (2026-09-19T12:17:32Z)
• Governed Human-AI Prioritization Under Uncertainty: Adaptive Estimation and Dependency-Constrained Portfolio Selection [0.0]
  AIネイティブなソフトウェアエンジニアリングは、人間の判断、過去のアナロジー、パラメトリック推定、AI生成予測を、同じ優先順位決定の中で組み合わさりつつある。 ビジネスバリュースコア(BVS)、Effort and Risk Score(ERS)、優先順位付け値スコア(PVS)、集合スコア(CCS)、最適開発パス(ODP)の5つの量演算子について検討する。
  論文  参考訳（メタデータ） (2026-09-09T14:04:37Z)
• Knowledge-Distilled End-to-End Reinforcement Learning for Smooth 6-DOF Thrust Control and Rapid Adaptation to Ocean Currents in Remotely Operated Vehicles [16.40999985739862]
  本稿では, 2段階蒸留学習フレームワークを用いて, ほぼ最適戦略を学習するスラストラピッド・ラピッド・アダプティブ・アダプティブ・ポリシー・最適化(TSRCA-PPO)手法を提案する。 シミュレーションの結果,提案手法は従来型のP-PIDコントローラよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-09T09:23:15Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization [0.0]
  PPO-BRは、新しい探索と収束信号を単一の信頼領域に融合することで、パラダイム適応RLを確立する。 この研究は、位相認識学習における重要なギャップを埋め、ロボット手術のような安全クリティカルなシステムへの現実世界の展開を可能にする。
  論文  参考訳（メタデータ） (2025-05-23T10:30:58Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。