論文の概要: OccuReward: LLM-Guided Occupant-Centric Reward Shaping for Demographic Equity in Grid-Interactive Buildings
- arxiv url: http://arxiv.org/abs/2605.28168v1
- Date: Wed, 27 May 2026 08:50:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.909616
- Title: OccuReward: LLM-Guided Occupant-Centric Reward Shaping for Demographic Equity in Grid-Interactive Buildings
- Title（参考訳）: OccuReward: 格子間建物における復号化のためのLCMガイド付Ocupant-Centric Reward Shaping
- Authors: Shadmehr Zaregarizi, Khashayar Yavari,
- Abstract要約: 大規模言語モデル(LLM)は、エネルギー管理を構築するための報酬関数を生成する有望な能力を示した。
OccuRewardは、LCMによる報酬デザインが人口動態にどのように影響するかを調査するフレームワークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated promising capability in generating reward functions for deep reinforcement learning (DRL)-based building energy management. However, their potential to exhibit or exacerbate disparities in occupant comfort across heterogeneous demographic populations remains unexplored. We present OccuReward, a framework investigating how LLM-mediated reward design affects demographic equity. Our contribution is three-fold: the introduction of the Comfort Equity Index (CEI) as a novel feedback signal; a methodology for iterative, equity-aware LLM reward shaping; and a performance analysis of DRL agents under these refined objectives. Utilizing four empirically grounded occupant profiles from the ASHRAE Global Thermal Comfort Database II (13,440 votes), we deploy a Soft Actor-Critic agent in CityLearn v2. Our approach employs the Gemini API to generate reward function logic and weights--rather than performing per-step inference--across three refinement rounds. Results across 15 experimental runs reveal that elderly female occupants consistently experience the lowest satisfaction in initial rounds. By Round 3, equity-aware LLM refinement activates specific reward components that improve satisfaction for Young Males (+17.6%), Mid-aged Females (+28.2%), Health Sensitive (+53.8%), and Elderly Females (+567%), while simultaneously reducing energy costs by 3.2%. Our findings highlight that while reward-level intervention significantly improves equity, demographic disparities in AI-driven controllers persist, necessitating further research into algorithmic fairness in building systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、深層強化学習(DRL)に基づく建築エネルギー管理のための報酬関数を生成する有望な能力を示した。
しかし、異質な人口集団にまたがる快適さの格差を顕在化または悪化させる可能性については、未調査のままである。
OccuRewardは、LCMによる報酬デザインが人口動態にどのように影響するかを調査するフレームワークである。
コンフォートエクイティ指数(CEI)を新たなフィードバック信号として導入し、反復的かつ公平なLCM報酬形成のための方法論と、これらの改良された目的の下でDRLエージェントの性能分析を行った。
本研究では, ASHRAE Global Thermal Comfort Database II (13,440 票) の 4 人の被占領者のプロフィールを用いて,CityLearn v2 にソフト・アクター・クリティカル・エージェントを配置する。
提案手法では,ジェミニAPIを用いて報酬関数の論理と重みを生成する。
15回の実験結果から, 高齢女性における初回ラウンドの満足度は, 常に低いことが判明した。
ラウンド3では、LLMの改良により、若年男性(+17.6%)、中年女性(+28.2%)、健康感度(+53.8%)、高齢女性(+567%)の満足度が向上し、同時にエネルギーコストを3.2%削減している。
我々の研究は、報酬レベルの介入は公平性を大幅に改善するが、AI駆動型コントローラの人口格差は持続し、構築システムにおけるアルゴリズム的公正性に関するさらなる研究が必要であることを強調した。
関連論文リスト
- Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。
MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。
我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
論文 参考訳（メタデータ） (2026-04-13T15:18:51Z) - Reflecting with Two Voices: A Co-Adaptive Dual-Strategy Framework for LLM-Based Agent Decision Making [24.534365665776672]
大規模言語モデル(LLM)エージェントは、しばしば外部のデモンストレーションや検索拡張計画に依存している。
本研究では,DuSARを提案する。DuSARは1つの凍結LDMが共適応推論を行うことを可能にするデモフリーフレームワークである。
ALFWorldとMind2Webでは、DuSARはオープンソースのLLMで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-09T08:44:59Z) - Graph-Enhanced Policy Optimization in LLM Agent Training [3.177432419321498]
グループベース強化学習(RL)は複雑な推論や数学的タスクにおいて顕著な結果を示した。
グループベース強化学習(RL)は複雑な推論や数学的タスクにおいて顕著な結果を示した。
論文 参考訳（メタデータ） (2025-10-30T08:53:41Z) - Social Welfare Function Leaderboard: When LLM Agents Allocate Social Welfare [87.06241096619112]
大規模言語モデル(LLM)は、人間の福祉に影響を及ぼす高い意思決定にますます信頼されている。
本稿では, LLMが主権アロケータとして機能する動的シミュレーション環境である社会福祉機能ベンチマークを紹介する。
我々は、20の最先端LCMを評価し、社会福祉確保のための第1のリーダーボードを提示する。
論文 参考訳（メタデータ） (2025-10-01T17:52:31Z) - LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning [0.27528170226206433]
本稿では,過度な報酬を伴う環境下での学習エージェントの効率向上を目的とした,本質的なモチベーション戦略の2つの組み合わせについて検討する。
本稿では,変分自動エンコーダ(VAE)の報奨状態の新規性を,大言語モデル(LLM)から派生した帰納的報奨手法を用いて,変分状態を内在的リワード(VSIMR)として統合することを提案する。
実験の結果, この組み合わせ戦略は, 各戦略を個別に使用した場合と比較して, エージェント性能と効率を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-25T19:10:58Z) - SEEA-R1: Tree-Structured Reinforcement Fine-Tuning for Self-Evolving Embodied Agents [58.174206358223415]
自己進化型エボダイドエージェント(SeEA-R1)は、自己進化型エボダイドエージェント用に設計された最初の強化微細調整フレームワークである。
本研究は,SEEA-R1が自律適応と報酬駆動型自己進化をサポートすることを示す。
論文 参考訳（メタデータ） (2025-06-26T18:00:07Z) - BCR-DRL: Behavior- and Context-aware Reward for Deep Reinforcement Learning in Human-AI Coordination [4.254485305825475]
深層強化学習(DRL)は、AIエージェントをトレーニングし、人間のパートナーと協調するための強力なフレームワークを提供する。
DRLは人間とAIの協調において2つの重要な課題に直面している。
本稿では,DRLの探索と活用を最適化する革新的行動認識報酬(BCR)を提案する。
論文 参考訳（メタデータ） (2024-08-15T01:33:06Z) - Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。
固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。
当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文 参考訳（メタデータ） (2024-06-21T02:28:37Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳（メタデータ） (2023-10-28T04:07:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。