論文の概要: MOON-RL: Multi-Objective Optimization via Objective Space Navigation with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.15227v1
- Date: Wed, 11 Nov 2026 09:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.090574
- Title: MOON-RL: Multi-Objective Optimization via Objective Space Navigation with Reinforcement Learning
- Title(参考訳): MOON-RL:強化学習による目的空間ナビゲーションによる多目的最適化
- Abstract要約: 目的空間における優先的なナビゲーションとして制約付き多目的探索を定式化する強化学習に基づく最適化フレームワークMOON-RLを提案する。
実世界のアクチュエータ設計問題に対するMOON-RLとコンバージェンス制約付きベンチマークについて検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many engineering design problems involve multiple conflicting objectives and strict feasibility constraints. They are typically solved with population-based optimizers that require many evaluations and offer limited online control over where the search is focused. We present MOON-RL, a reinforcement-learning-based optimization framework that formulates constrained multi-objective search as preference-directed navigation in the objective space. In MOON-RL, a lightweight PPO policy receives objective-space and constraint-related observations and acts as an instance-specific adaptive search process. It learns how to update the design so that the current solution advances along a user-specified trade-off direction, while a simple meta-algorithm periodically resets the policy, resamples starting designs from a continuously updated archive of non-dominated solutions, and adjusts step-size and penalty schedules. We evaluate MOON-RL on real-world actuator-design problems and additional convergence-hard constrained benchmarks, comparing against established evolutionary algorithms under matched evaluation budgets. In focused search scenarios, MOON-RL achieves competitive performance in the region of interest, and ablation studies show that both the RL-driven adaptive sampling process and the meta-algorithm contribute to this behaviour, suggesting that repurposing RL training as objective-space navigation is a viable building block for interactive, preference-guided design tools. Additional experiments show that the framework also accommodates adaptive non-RL samplers, while PPO remains a strong choice for fixed-target, preference-directed objective-space navigation.
- Abstract(参考訳): 多くのエンジニアリング設計問題は、複数の矛盾する目標と厳格な実現可能性の制約を含む。
それらは一般に、多くの評価を必要とし、検索がどこにフォーカスされているかに関して限定的なオンライン制御を提供する人口ベースのオプティマイザによって解決される。
目的空間における優先的なナビゲーションとして制約付き多目的探索を定式化する強化学習に基づく最適化フレームワークMOON-RLを提案する。
MOON-RLでは、軽量なPPOポリシーは、客観空間および制約に関連した観測を受け、インスタンス固有の適応探索プロセスとして機能する。
ユーザが指定したトレードオフ方向に沿って現在のソリューションが前進するようにデザインを更新する方法を学ぶ一方で、シンプルなメタアルゴリズムが定期的にポリシーをリセットし、非支配的なソリューションの継続的更新されたアーカイブから設計をリサンプルし、ステップサイズとペナルティのスケジュールを調整する。
我々は,実世界のアクチュエータ設計問題とコンバージェンスハード制約付きベンチマークに対するMOON-RLの評価を行い,一致した評価予算の下で確立された進化的アルゴリズムと比較した。
集中探索のシナリオでは,MOON-RLは興味のある領域における競争性能を達成し,Ablation studyではRL駆動適応サンプリングプロセスとメタアルゴリズムの両方がこの振る舞いに寄与し,RLトレーニングを客観空間ナビゲーションとして再利用することは,対話的かつ嗜好的な設計ツールのための実行可能なビルディングブロックであることが示唆された。
追加の実験では、このフレームワークは適応的な非RLサンプリングも可能であるが、PPOは固定ターゲット、優先指向の客観空間ナビゲーションにとって強力な選択肢である。
関連論文リスト
- Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。
我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。
当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文 参考訳(メタデータ) (2026-05-15T08:22:59Z) - HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。
我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2026-04-04T04:12:47Z) - Multi-Objective Reward and Preference Optimization: Theory and Algorithms [3.316593788543852]
この論文は、制御、嗜好学習、大規模言語モデルのアライメントを越えて制約付き強化学習(RL)を進める理論的枠組みとアルゴリズムを開発する。
ACPO, e-COP, warmPref-PS, PSPL, MOPOは, 平均コスト, エピソード, 嗜好駆動のパラダイムでRLを推し進める。
集合的に、論文はRLを平均的コスト、エピソード、および嗜好駆動のパラダイムで統一し、理論的な進歩と、安全で整合した意思決定のための実践的なツールを提供する。
論文 参考訳(メタデータ) (2025-12-11T12:51:21Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳(メタデータ) (2025-07-26T07:53:11Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-07-06T12:33:34Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - On Multi-objective Policy Optimization as a Tool for Reinforcement
Learning: Case Studies in Offline RL and Finetuning [24.264618706734012]
より効率的な深層強化学習アルゴリズムの開発方法について述べる。
ケーススタディとして,オフラインRLとファインタニングに注目した。
専門家の混合蒸留(DiME)について紹介する
オフラインのRLでは、DMEが最先端のアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-15T14:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。