論文の概要: Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
- arxiv url: http://arxiv.org/abs/2605.31388v1
- Date: Fri, 29 May 2026 14:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.681793
- Title: Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion
- Title(参考訳): Max-Min基準による制約付き多目的強化学習
- Abstract要約: MORL(Multi-Objective Reinforcement Learning)は、複数の、しばしば矛盾する目標に対するポリシーを最適化することで、標準RLを拡張します。
我々は,最大値基準を明示的な制約満足度と統合するMORLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 24.714655444299435
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-Objective Reinforcement Learning (MORL) extends standard RL by optimizing policies with respect to multiple, often conflicting, objectives. While max-min MORL has emerged as an effective approach for promoting fairness, its applicability remains limited, particularly when constraints must be incorporated. In this paper, we propose a MORL framework that integrates the max-min criterion with explicit constraint satisfaction. We establish a theoretical foundation for the proposed framework and validate the resulting algorithm through convergence analysis and experiments in tabular settings. We further demonstrate the practical relevance of our approach in simulated building thermal control, multi-objective locomotion control, and greenhouse-gas-emission-aware traffic management. Across these domains, our method effectively balances fairness and constraint satisfaction in multi-objective decision-making.
- Abstract(参考訳): MORL(Multi-Objective Reinforcement Learning)は、複数の、しばしば矛盾する目標に対するポリシーを最適化することで、標準RLを拡張します。
マキシミンMORLは、フェアネスを促進する効果的なアプローチとして登場したが、その適用性は、特に制約を組み込まなければならない場合に限られている。
本稿では,最大値基準を明示的な制約満足度と統合したMORLフレームワークを提案する。
提案手法の理論的基礎を確立し, 収束解析と実験により, 提案手法の有効性を検証した。
さらに, 建物熱制御, 多目的移動制御, 温室効果ガスの排出を考慮した交通管理における我々のアプローチの実践的妥当性を示す。
これらの領域全体で、本手法は多目的意思決定における公平性と制約満足度を効果的にバランスさせる。
関連論文リスト
- Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation [49.86232017439639]
マルチ出力拡張行動クローン(MA-BC)について紹介する。
MA-BCは、振る舞いの衝突が観測されない状態-動作ペアをプールしながら、専門家データを分離する。
我々は,MA-BCが極小であることを示す,多目的模倣学習のための新しい下位境界を確立する。
論文 参考訳(メタデータ) (2026-05-12T11:49:08Z) - Multi-Objective Constraint Inference using Inverse reinforcement learning [4.8029888032686445]
多目的制約推論(Multi-Objective Constraint Inference、MOCI)は、異種専門家の軌跡から共有制約と個人の嗜好を共同で抽出するように設計された新しいフレームワークである。
MOCIは、多様で潜在的に矛盾する振る舞いから効果的にモデル化し、学習する。
論文 参考訳(メタデータ) (2026-05-07T21:09:09Z) - PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning [50.63196995993855]
多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。
当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
論文 参考訳(メタデータ) (2026-03-25T07:55:37Z) - Flow Matching for Offline Reinforcement Learning with Discrete Actions [18.806918500759704]
フローマッチングを、複数の目的を持った離散的なアクション空間をサポートする一般的なフレームワークに拡張する。
具体的には,連続フローを連続時間マルコフ連鎖に置き換え,Q重み付きフローマッチングの目的を用いて学習する。
次に,多エージェント設定に設計を拡張し,因子化条件付き経路による共同行動空間の指数的成長を緩和する。
論文 参考訳(メタデータ) (2026-02-05T19:13:44Z) - Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。
本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。
我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
論文 参考訳(メタデータ) (2025-11-04T13:42:05Z) - RBF++: Quantifying and Optimizing Reasoning Boundaries across Measurable and Unmeasurable Capabilities for Chain-of-Thought Reasoning [60.84707424369494]
CoT(Chain-of-Thought)推論は、複雑なタスクにおける大規模言語モデル(LLM)の強化に有効であることが証明されている。
CoT 機能の計測可能なバウンダリの評価と最適化を行うフレームワークである Reasoning Boundary Framework++ (RBF++) を紹介する。
論文 参考訳(メタデータ) (2025-05-19T16:25:55Z) - Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。
本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
論文 参考訳(メタデータ) (2024-10-08T05:26:28Z) - Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning [13.245000585002858]
多くの実世界の応用において、強化学習(RL)エージェントは、複数の目的を考慮し、安全ガイドラインに従うべきである。
制約付き多目的勾配集約アルゴリズム(Constrained Multi-Objective Gradient Aggregator, CoGAMO)を提案する。
論文 参考訳(メタデータ) (2024-03-01T04:57:13Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳(メタデータ) (2022-02-14T01:31:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。