論文の概要: Reinforcement Learning Constrained Beam Search for Parameter Optimization of Paper Drying Under Flexible Constraints

• arxiv url: http://arxiv.org/abs/2501.12542v1
• Date: Tue, 21 Jan 2025 23:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:05.154117
• Title: Reinforcement Learning Constrained Beam Search for Parameter Optimization of Paper Drying Under Flexible Constraints
• Title（参考訳）: フレキシブル制約下における紙乾燥のパラメータ最適化のための強化学習制約ビーム探索
• Authors: Siyuan Chen, Hanshen Yu, Jamal Yagoobi, Chenhui Shao,
• Abstract要約: 最適化問題における推論時間改善のための強化学習制約ビームサーチ(RLCBS)を提案する。 以上の結果から, RLCBS は NSGA-II よりも複雑な設計制約下で, モジュール構成を推論時に乾燥させるのに優れていた。
• 参考スコア（独自算出の注目度）: 7.014163329716659
• License:
• Abstract: Existing approaches to enforcing design constraints in Reinforcement Learning (RL) applications often rely on training-time penalties in the reward function or training/inference-time invalid action masking, but these methods either cannot be modified after training, or are limited in the types of constraints that can be implemented. To address this limitation, we propose Reinforcement Learning Constrained Beam Search (RLCBS) for inference-time refinement in combinatorial optimization problems. This method respects flexible, inference-time constraints that support exclusion of invalid actions and forced inclusion of desired actions, and employs beam search to maximize sequence probability for more sensible constraint incorporation. RLCBS is extensible to RL-based planning and optimization problems that do not require real-time solution, and we apply the method to optimize process parameters for a novel modular testbed for paper drying. An RL agent is trained to minimize energy consumption across varying machine speed levels by generating optimal dryer module and air supply temperature configurations. Our results demonstrate that RLCBS outperforms NSGA-II under complex design constraints on drying module configurations at inference-time, while providing a 2.58-fold or higher speed improvement.
• Abstract（参考訳）: 既存のRL(Reinforcement Learning)アプリケーションにおける設計制約を強制するアプローチは、報酬関数やトレーニング/推論時の不正動作マスキングのトレーニングタイムペナルティに頼っていることが多いが、これらの手法はトレーニング後に修正できないか、実装可能な制約の種類に制限されている。 この制限に対処するため、組合せ最適化問題における推論時間改善のための強化学習制約ビームサーチ(RLCBS)を提案する。 この方法は、無効な動作の排除と所望の動作の強制的包含をサポートする柔軟な推論時間制約を尊重し、より合理的な制約を組み込むためのシーケンス確率を最大化するためにビームサーチを用いる。 RLCBSは、リアルタイムソリューションを必要としないRLベースの計画および最適化問題に対して拡張可能であり、紙乾燥のための新しいモジュールテストベッドのプロセスパラメータを最適化する手法を適用した。 RLエージェントは、最適乾燥機モジュールと空気供給温度構成を生成することにより、様々な機械速度レベルのエネルギー消費を最小限に抑えるよう訓練される。 RLCBSは2.58倍以上の速度向上を実現しつつ,モジュール構成の乾燥に関する複雑な設計制約下でのNSGA-IIよりも優れた性能を示した。

関連論文リスト

• Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching [0.0]
  Constrained Reinforcement Learning (CRL)は、従来の強化学習(RL)フレームワークに制約を導入する機械学習のサブセットである。 純粋学習(逆)と制約満足度を切り替えることに依存する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-10T15:19:45Z)
• Constrained Reinforcement Learning for Safe Heat Pump Control [24.6591923448048]
  異なる用途のインタフェースを提供する新しいビルディングシミュレータI4Bを提案する。 本研究では,線形平滑ログバリア関数 (CSAC-LB) を用いた制約付きソフトアクタ・クリティカルというモデルレス制約付きRLアルゴリズムを加熱最適化問題に適用する。 ベースラインアルゴリズムに対するベンチマークは、CSAC-LBのデータ探索、制約満足度、性能における効率を示す。
  論文  参考訳（メタデータ） (2024-09-29T14:15:13Z)
• Boosting Reinforcement Learning with Strongly Delayed Feedback Through Auxiliary Short Delays [41.52768902667611]
  強化学習(Reinforcement Learning, RL)は、事象と知覚知覚の間の遅延の一般的な場合において困難である。 本稿では、短時間の遅延を含む補助的なタスクを活用して、長時間の遅延でRLを高速化する、Auxiliary-Delayed Reinforcement Learning (AD-RL) 法を提案する。 具体的には、AD-RLは短い遅延に対する値関数を学習し、ブートストラップとポリシー改善技術を用いて長い遅延に調整する。
  論文  参考訳（メタデータ） (2024-02-05T16:11:03Z)
• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• A Constraint Enforcement Deep Reinforcement Learning Framework for Optimal Energy Storage Systems Dispatch [0.0]
  エネルギー貯蔵システム(ESS)の最適供給は、動的価格の変動、需要消費、再生可能エネルギーの発生による深刻な課題を提起する。 ディープニューラルネットワーク(DNN)の一般化機能を活用することで、ディープ強化学習(DRL)アルゴリズムは、分散ネットワークの性質に適応して応答する良質な制御モデルを学ぶことができる。 本稿では,オンライン操作における環境や行動空間の運用制約を厳格に実施しながら,継続的な行動空間を効果的に処理するDRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-26T17:12:04Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。