論文の概要: Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
- arxiv url: http://arxiv.org/abs/2607.12763v1
- Date: Tue, 14 Jul 2026 13:33:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.157821
- Title: Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
- Title（参考訳）: マイクログリッドエネルギーコーディネーションにおけるフェデレーション強化学習のための制約を考慮した集約
- Abstract要約: フェデレート強化学習(Federated Reinforcement Learning, FedRL)は、生のローカルデータを共有せずに、分散エネルギー資源の調整を可能にする。
FedAvgのような標準的なアグリゲーションメソッドは、システムレベルの制約を考慮せず、多くの場合、安全でないグローバルな振る舞いを引き起こす。
ローカル性能と推定制約違反の両方をサーバ側の更新に組み込んだアグリゲーションルールを提案する。
- 参考スコア（独自算出の注目度）: 1.675857332621569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Reinforcement Learning (FedRL) enables coordination of distributed energy resources without sharing raw local data, but standard aggregation methods such as FedAvg do not account for system-level constraints, often leading to unsafe global behavior. In this work, we study constraint-aware aggregation for federated reinforcement learning in distributed energy coordination. We propose aggregation rules that incorporate both local performance and estimated constraint violation into the server-side update. Among these, a simple penalty-based rule, $w_i \propto R_i - αV_i$, consistently provides the most reliable trade-off between reward and safety, without requiring dual optimization or modifications to local training. \textcolor{black}{We evaluate our approach on DairyGridEnv, a benchmark modeling multiple farms coordinating battery storage under stochastic demand and a shared grid capacity constraint, and further assess robustness using real load-driven demand profiles from Finland and the German FIELD dataset. Across multiple seeds, penalty-based aggregation substantially reduces violations while improving reward relative to FedAvg in both synthetic and real load-driven settings.} A combined reward-violation scheme exposes a tunable trade-off via $λ$, but is less stable. These results demonstrate that lightweight aggregation strategies can substantially improve empirical safety in federated reinforcement learning while preserving standard communication protocols.
- Abstract（参考訳）: フェデレーション強化学習(Federated Reinforcement Learning、FedRL)は、生のローカルデータを共有せずに分散エネルギー資源の協調を可能にするが、FedAvgのような標準集約手法はシステムレベルの制約を考慮せず、しばしば安全でないグローバルな行動を引き起こす。
本研究では,分散エネルギー協調における連合強化学習のための制約認識アグリゲーションについて検討する。
ローカル性能と推定制約違反の両方をサーバ側の更新に組み込んだアグリゲーションルールを提案する。
これらのうち、単純なペナルティベースのルールである$w_i \propto R_i - αV_i$は、双対最適化やローカルトレーニングの変更を必要とせずに、報酬と安全性の最も信頼できるトレードオフを提供する。
DairyGridEnvは、確率的需要下での蓄電池の調整と共有グリッド容量制約をモデル化し、フィンランドとドイツのFIELDデータセットからの実際の負荷駆動需要プロファイルを用いてロバスト性を評価する。
複数の種にまたがって、ペナルティベースのアグリゲーションは、合成および実際の負荷駆動設定の両方において、FedAvgに対する報酬を改善しながら、違反を大幅に低減する。
} 複合報酬違反スキームは、$λ$でチューナブルなトレードオフを公開するが、安定性は低い。
これらの結果は,標準通信プロトコルを維持しつつ,連合強化学習における実験的安全性を著しく向上させることができることを示す。
関連論文リスト
- Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - An Efficient and Privacy-Preserving Architecture for Cross-Institutional Collaborative RAG [35.62196578084403]
Retrieval-Augmented GenerationはLLMに外部知識を付与する。
厳格なプライバシー規制は、そのようなコラボレーションを妨げる「データサイロ」を深刻なものにする。
我々は,高スループットでプライバシ保護のフェデレートされたRAGフレームワークであるFedRAGを紹介する。
論文 参考訳（メタデータ） (2026-05-25T11:18:19Z) - Cooperative Deep Reinforcement Learning for Fair RIS Allocation [2.217288163160845]
RISは、競合する基地局間で動的に割り当てられなければならない共有インフラストラクチャであると考えている。
フェアネスを考慮した協調型マルチエージェント強化学習手法を提案する。
その結果,提案フレームワークはRIS資源をより弱い性能の細胞に効果的に再分配することがわかった。
論文 参考訳（メタデータ） (2026-03-26T15:46:32Z) - Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。
グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。
これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。
Byz-Clip21-SGD2Mを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:39:09Z) - Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control [12.053369001333058]
本稿では,予測コスト制約をFSD(First-Order Dominance)制約に置き換える,リスクに敏感なアライメントフレームワークを提案する。
RADは, 有効性を保ちながら, ベースラインよりも無害性を向上し, アウト・オブ・ディストリビューション評価においてより堅牢性を示す。
論文 参考訳（メタデータ） (2026-03-11T16:24:20Z) - Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data [12.4809003470908]
FCOは非平滑化器を扱う際に通信効率と堅牢性を達成する。
Fed Composite Error FeedbackCEFは非効率的な量子収束のための新しいアルゴリズムである。
非IIDデータからアグレッシブ化やノイズを緩和する。
論文 参考訳（メタデータ） (2026-03-08T14:37:16Z) - Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。
我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
論文 参考訳（メタデータ） (2026-02-12T03:31:19Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-31T03:11:51Z) - CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。
CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
論文 参考訳（メタデータ） (2026-01-02T03:39:50Z) - Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。
エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。
これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
論文 参考訳（メタデータ） (2025-12-05T10:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。