論文の概要: LLM-Enhanced Deep Reinforcement Learning with Human-in-the-Loop Calibration for Real-Time Optimal Power Flow
- arxiv url: http://arxiv.org/abs/2611.15003v1
- Date: Wed, 11 Nov 2026 04:01:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.005748
- Title: LLM-Enhanced Deep Reinforcement Learning with Human-in-the-Loop Calibration for Real-Time Optimal Power Flow
- Title(参考訳): 実時間最適潮流に対するHuman-in-the-LoopキャリブレーションによるLLM強化深部強化学習
- Abstract要約: 本稿では,RT-OPFのためのHuman-in-the-loop (HITL)を用いたLLM拡張DRLフレームワークを提案する。
提案手法は, オフライントレーニングにおいて, 疎言語評価フィードバックを用いて, 物理学に基づく報酬を増大させる。
IEEE 30-bus と IEEE 118-bus のケーススタディでは、LLM のフィードバックはバニラ TD3 よりもポリシーの安全性を向上させることが示されている。
- 参考スコア(独自算出の注目度): 1.849619968062268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time optimal power flow (RT-OPF) requires fast and reliable decision-making under time-varying operating conditions. However, many practical operating preferences and safety related requirements are difficult to encode using conventional numerical rewards alone, which limits the effectiveness and controllability of deep reinforcement learning (DRL) for RT-OPF. To address this issue, this paper proposes an LLM-enhanced DRL framework with human-in-the-loop (HITL) for RT-OPF. The proposed method augments the physics-based reward with sparse language evaluative feedback during offline training, so that semantic operational requirements can be incorporated into policy learning. To improve reliability in RT-OPF, a selective HITL calibration mechanism is further introduced to inspect and correct questionable LLM judgments before they continuously shape the learning process. Case studies on the IEEE 30-bus and IEEE 118-bus systems show that LLM feedback improves policy safety over vanilla TD3, while further HITL calibration achieves the best overall performance and more stable training behavior. These results demonstrate the effectiveness of combining language guidance and expert calibration for RT-OPF.
- Abstract(参考訳): リアルタイム最適電力流(RT-OPF)は、時間変化のある運転条件下での高速かつ信頼性の高い意思決定を必要とする。
しかし, RT-OPFにおける深部強化学習(DRL)の有効性と制御性を抑えるため, 従来の数値報酬のみを用いた符号化は困難である。
本稿では,RT-OPFのためのHuman-in-the-loop (HITL)を用いたLLM拡張DRLフレームワークを提案する。
提案手法は、オフライントレーニング中に、スパース言語評価フィードバックを用いて、物理学に基づく報酬を増大させ、セマンティックな操作要件をポリシー学習に組み込むことができる。
RT-OPFの信頼性を向上させるため、学習過程を連続的に形作る前に疑わしいLCM判定を検査・補正するために、選択的HITL校正機構が導入された。
IEEE 30-bus と IEEE 118-bus システムのケーススタディでは、LLM フィードバックはバニラ TD3 よりもポリシーの安全性を向上し、HITL キャリブレーションは全体的な性能とより安定した訓練行動を達成する。
これらの結果から,RT-OPFにおける言語指導と専門家校正の併用の有効性が示された。
関連論文リスト
- Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳(メタデータ) (2026-06-09T16:45:57Z) - Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。
ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。
成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
論文 参考訳(メタデータ) (2026-06-04T19:46:45Z) - From SFT to RL: Demystifying the Post-Training Pipeline for LLM-based Vulnerability Detection [2.6678231901651723]
LLMに基づく脆弱性検出のための訓練後パイプラインに関する最初の包括的調査を行う。
本研究は,データキュレーション,ステージインタラクション,報酬メカニズム,評価プロトコルがモデルトレーニングと評価の有効性を総合的に規定するなど,実践的なガイドラインと洞察を明らかにする。
論文 参考訳(メタデータ) (2026-02-15T06:33:25Z) - A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。
トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。
我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文 参考訳(メタデータ) (2026-01-30T08:47:19Z) - Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。
Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文 参考訳(メタデータ) (2025-10-30T11:53:08Z) - Large Language Model-Empowered Decision Transformer for UAV-Enabled Data Collection [71.84636717632206]
空間分散デバイスからの信頼性とエネルギー効率のよいデータ収集のための無人航空機(UAV)は、IoT(Internet of Things)アプリケーションをサポートする上で大きな可能性を秘めている。
有効なUAV制御ポリシーを学習するための共同言語モデル(LLM)を提案する。
LLM-CRDTは、現在の最先端DTアプローチよりも最大36.7%高いエネルギー効率を達成し、オンラインおよびオフラインメソッドのベンチマークより優れている。
論文 参考訳(メタデータ) (2025-09-17T13:05:08Z) - Guiding Reinforcement Learning Using Uncertainty-Aware Large Language Models [1.2233495442213964]
大きな言語モデル(LLMs)は、RLサンプルの非効率を軽減し、人間のトレーナーを置き換える可能性のある代替手段を提供する。
LLMアドバイスの信頼性を高めるためにモンテカルロ・ドロップアウトを用いた校正誘導システムにより,この制限に対処する。
また、動的モデル平均エントロピーに基づく新しいRLポリシー形成手法を開発し、ガイダンスの不確実性に応じてLLMがRLポリシーに与える影響を調整する。
論文 参考訳(メタデータ) (2024-11-15T22:00:29Z) - Constrain Alignment with Sparse Autoencoders [45.131670081186]
特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。
提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
論文 参考訳(メタデータ) (2024-11-12T07:54:13Z) - Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective [55.66517396157806]
オープンソースLLMのポストトレーニングにおいて広く採用されているアプローチは、SFTとRLHF/DPOのシーケンシャルな実行である。
これはSFTとRLHF/DPOのトレードオフの点において最適である。
本稿では,理論収束保証と逐次後学習フレームワークの性能を実証的に向上させる,実践的な後学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-20T19:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。