論文の概要: Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
- arxiv url: http://arxiv.org/abs/2606.22146v1
- Date: Sat, 20 Jun 2026 16:55:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 22:33:12.972834
- Title: Meta-Reinforcement Learning via Evolution for Multi-Objective Combinatorial Supply Chain Optimisation
- Title（参考訳）: 多目的結合型サプライチェーン最適化のための進化的メタ強化学習
- Authors: Rifny Rachman, Bahrul Ilmi Nasution, Josh Tingey, Richard Allmendinger, Pradyumn Shukla, Wei Pan,
- Abstract要約: 本稿では,スカラー化重み空間における分解と進化探索を組み合わせたメタ強化学習フレームワークを提案する。
経済・環境・社会目標の相反する多次元サプライチェーン設定における手法の評価を行った。
- 参考スコア（独自算出の注目度）: 3.2580935846865677
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Meta-reinforcement learning is a promising approach to multi-objective optimisation because it enables rapid policy adaptation across changing environments and preference settings. However, conventional few-shot methods usually fine-tune from a single shared meta-policy, which can reduce solution diversity and limit exploration of the Pareto front, especially in high-dimensional combinatorial problems such as supply chain optimisation. We propose a population-based Meta-reinforcement learning framework that combines decomposition with evolutionary search in scalarisation weight space. The framework maintains a population of weight vectors, each associated with a distinct meta-policy trained through gradient-based meta-learning, and iteratively refines this population through elitist selection, crossover, and mutation guided by hypervolume and entropy contributions. We evaluate the method in a multi-objective supply chain setting with conflicting economic, environmental, and social goals, and further test its generality on standard reinforcement learning problems. The results show that the proposed approach yields more diverse, better distributed Pareto front approximations, improves cross-task adaptation, increases hypervolume by up to 32\% over Meta-multi-objective reinforcement learning in the complex case, and attains the lowest average Hausdorff distance among all compared methods.
- Abstract（参考訳）: メタ強化学習は、変化する環境と嗜好設定にまたがる迅速なポリシー適応を可能にするため、多目的最適化への有望なアプローチである。
しかし、従来のいくつかのショット法は、特にサプライチェーン最適化のような高次元の組合せ問題において、解の多様性を減らし、パレートフロントの探索を制限できる単一の共有メタポリティクスから微調整されるのが普通である。
本稿では,スカラー化重み空間における分解と進化探索を組み合わせたメタ強化学習フレームワークを提案する。
この枠組みは重みベクトルの集団を維持しており、それぞれが勾配に基づくメタラーニングを通じて訓練された個別のメタ政治と関連付けられており、高体積とエントロピーの貢献によって導かれるエリート主義者の選択、交叉、突然変異を通じて、この集団を反復的に洗練している。
経済・環境・社会目標の相反する多目的サプライチェーン設定において,本手法の評価を行い,標準強化学習問題に対するその一般化性を検証する。
その結果,提案手法により,より多種多様な分散されたパレートフロント近似が得られ,クロスタスク適応が向上し,メタマルチオブジェクト強化学習によるハイパーボリュームが最大32\%増加し,全ての比較手法でハウスドルフ距離が最低となることがわかった。
関連論文リスト
- MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment [6.301256425456381]
幾何学に基づく多目的最適化アルゴリズムMGDA-Decoupledを導入する。
それぞれの目的の収束ダイナミクスを明示的に説明しながら、共通の降下方向を見つける。
UltraFeedbackデータセットの実験では、MGDA-Decoupledがゴールデンレスポンスに対して最高勝利率を達成した。
論文 参考訳（メタデータ） (2026-04-22T15:33:45Z) - PCHC: Enabling Preference Conditioned Humanoid Control via Multi-Objective Reinforcement Learning [50.63196995993855]
多目的強化学習(MORL)を活用してPCHC(Preference-Conditioned Humanoid Control)を実現する新しいフレームワークを提案する。
当社のフレームワークは、単一の嗜好条件のポリシーを多種多様な行動を示すために有効である。
論文 参考訳（メタデータ） (2026-03-25T07:55:37Z) - PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning [17.67661165622871]
本稿では,多目的問題分解と政策改善のための効率的なスキームを構築するPA2D-MORL法を提案する。
提案手法は, 結果の品質と安定性の両面で, 現在の最先端アルゴリズムよりも明らかに優れていることを示す。
論文 参考訳（メタデータ） (2026-03-20T02:46:46Z) - MIRACL: A Diverse Meta-Reinforcement Learning for Multi-Objective Multi-Echelon Combinatorial Supply Chain Optimisation [3.2580935846865677]
階層型メタMORLフレームワークであるMIRACLを導入し、多様なタスクにまたがる数ショットの一般化を可能にする。
MIRACL は従来の MORL のベースラインを単純から中程度のタスクで上回り、最大10% の高ボリュームを実現し、5% のより良いユーティリティを実現している。
論文 参考訳（メタデータ） (2026-03-05T23:42:26Z) - SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。
提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。
様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-01T07:13:20Z) - Reinforcement Learning for Multi-Objective Multi-Echelon Supply Chain Optimisation [3.1194372040101928]
重み付き和で修正した元来の単目的RLアルゴリズムに対してベンチマークした多目的強化学習(RL)法を用いてモデルを評価する。
我々は、カスタマイズ可能なシミュレータを用いて、様々なネットワーク複雑度の実験を行い、典型的な現実世界の課題を模倣する。
このモデルはサプライチェーンの経路をまたいだ生産量と納入量を決定し、競合する目標間のほぼ最適なトレードオフを達成する。
論文 参考訳（メタデータ） (2025-07-26T04:30:11Z) - HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
論文 参考訳（メタデータ） (2024-05-28T11:41:41Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [51.00436121587591]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメトリした線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-01T09:34:42Z) - Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning [2.1408617023874443]
本稿では,政策勾配を用いて単一ニューラルネットワークを学習する多目的強化学習(MORL)アルゴリズムを提案する。
提案手法はポリシーネットワークの設計変更を伴わない連続的かつ離散的な行動空間で機能する。
論文 参考訳（メタデータ） (2023-03-15T20:07:48Z) - Permutation Invariant Policy Optimization for Mean-Field Multi-Agent
Reinforcement Learning: A Principled Approach [128.62787284435007]
本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。
我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。
特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
論文 参考訳（メタデータ） (2021-05-18T04:35:41Z) - Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。
メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。
このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-14T18:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。