Fugu-MT 論文翻訳(概要): Meta-Learning-based Deep Reinforcement Learning for Multiobjective Optimization Problems

論文の概要: Meta-Learning-based Deep Reinforcement Learning for Multiobjective Optimization Problems

arxiv url: http://arxiv.org/abs/2105.02741v1
Date: Thu, 6 May 2021 15:09:35 GMT
ステータス: 処理完了
システム内更新日: 2021-05-07 13:28:08.831570
Title: Meta-Learning-based Deep Reinforcement Learning for Multiobjective Optimization Problems
Title（参考訳）: 多目的最適化問題に対するメタラーニングに基づく深層強化学習
Authors: Zizhen Zhang, Zhiyuan Wu, Jiahai Wang
Abstract要約: 本稿では,簡潔なメタラーニングに基づくDRLアプローチを提案する。最初にメタモデルをメタラーニングで訓練する。メタモデルは、対応するサブ問題に対するサブモデルを導出するためのいくつかの更新ステップで微調整される。
参考スコア（独自算出の注目度）: 11.478548460936837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep reinforcement learning (DRL) has recently shown its success in tackling complex combinatorial optimization problems. When these problems are extended to multiobjective ones, it becomes difficult for the existing DRL approaches to flexibly and efficiently deal with multiple subproblems determined by weight decomposition of objectives. This paper proposes a concise meta-learning-based DRL approach. It first trains a meta-model by meta-learning. The meta-model is fine-tuned with a few update steps to derive submodels for the corresponding subproblems. The Pareto front is built accordingly. The computational experiments on multiobjective traveling salesman problems demonstrate the superiority of our method over most of learning-based and iteration-based approaches.
Abstract（参考訳）: deep reinforcement learning (drl) は最近、複雑な組合せ最適化問題に取り組むことに成功している。これらの問題を多目的に拡張すると、既存のDRLアプローチでは、目的物の重み分解によって決定される複数のサブプロブレムを柔軟かつ効率的に扱うことが困難になる。本稿では,簡潔なメタラーニングに基づくDRL手法を提案する。最初にメタモデルをメタラーニングで訓練する。メタモデルは、対応するサブproblemのサブモデルを引き出すためのいくつかの更新ステップで微調整されている。パレト・フロントはそれに従って建てられている。多目的旅行セールスマン問題に対する計算実験は,本手法が学習ベースや反復型アプローチよりも優れていることを示す。

関連論文リスト

Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文参考訳（メタデータ） (2024-10-11T23:29:20Z)
Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文参考訳（メタデータ） (2024-06-14T07:16:18Z)
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文参考訳（メタデータ） (2024-05-01T09:34:42Z)
Efficient Meta Neural Heuristic for Multi-Objective Combinatorial Optimization [35.09656455088854]
本稿では,多目的最適化問題を解くために,効率的なメタニューラルベクトル(EMNH)を提案する。 EMNHは、ソリューションの品質と学習効率の点で最先端のニューラルネットワークより優れている。
論文参考訳（メタデータ） (2023-10-22T08:59:02Z)
A Survey of Meta-Reinforcement Learning [69.76165430793571]
我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
論文参考訳（メタデータ） (2023-01-19T12:01:41Z)
DIMES: A Differentiable Meta Solver for Combinatorial Optimization Problems [41.57773395100222]
深部強化学習(DRL)モデルはNP-hard Combinatorial Optimization問題を解決する上で有望な結果を示している。本稿では,DIMESという新しいアプローチを提案することによって,大規模最適化におけるスケーラビリティの課題に対処する。コストのかかる自己回帰的復号法や離散解の反復的洗練に苦しむ従来のDRL法とは異なり、DIMESは候補解の基底分布をパラメータ化するためのコンパクトな連続空間を導入する。 DIMESは、トラベリングセールスマン問題や最大独立セット問題のための大規模なベンチマークデータセットにおいて、最近のDRLベースの手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-10-08T23:24:37Z)
MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization [10.614594804236893]
本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。 MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2021-07-16T15:22:20Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文参考訳（メタデータ） (2020-11-19T22:35:31Z)
MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization [15.235261981563523]
本稿では,多目的最適化問題を解くための多目的深部強化学習法を提案する。本手法では,各サブプロブレムをアテンションモデルにより解き,入力ノードの構造的特徴とノード的特徴を活用できる。
論文参考訳（メタデータ） (2020-02-13T12:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。