論文の概要: Multi-Objective Reinforcement Learning Based on Decomposition: A
Taxonomy and Framework
- arxiv url: http://arxiv.org/abs/2311.12495v2
- Date: Mon, 5 Feb 2024 08:56:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 04:08:04.134882
- Title: Multi-Objective Reinforcement Learning Based on Decomposition: A
Taxonomy and Framework
- Title(参考訳): 分解に基づく多目的強化学習:分類学と枠組み
- Authors: Florian Felten and El-Ghazali Talbi and Gr\'egoire Danoy
- Abstract要約: 多目的強化学習(MORL)は、対立する目的の間で異なる妥協を行う政策を求めることにより、従来のRLを拡張している。
RLとMOO/Dの両方に基づく明確な分類は、既存の文献に欠けている。
MORL/Dの包括的分類法が提示され、既存のMORL作品と潜在的なMORL作品の分類のための構造的基盤を提供する。
導入された分類法は、MORLの研究を精査し、明確に分類することで明確さと簡潔さを高めるために用いられる。
- 参考スコア(独自算出の注目度): 0.3069335774032178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-objective reinforcement learning (MORL) extends traditional RL by
seeking policies making different compromises among conflicting objectives. The
recent surge of interest in MORL has led to diverse studies and solving
methods, often drawing from existing knowledge in multi-objective optimization
based on decomposition (MOO/D). Yet, a clear categorization based on both RL
and MOO/D is lacking in the existing literature. Consequently, MORL researchers
face difficulties when trying to classify contributions within a broader
context due to the absence of a standardized taxonomy. To tackle such an issue,
this paper introduces multi-objective reinforcement learning based on
decomposition (MORL/D), a novel methodology bridging the literature of RL and
MOO. A comprehensive taxonomy for MORL/D is presented, providing a structured
foundation for categorizing existing and potential MORL works. The introduced
taxonomy is then used to scrutinize MORL research, enhancing clarity and
conciseness through well-defined categorization. Moreover, a flexible framework
derived from the taxonomy is introduced. This framework accommodates diverse
instantiations using tools from both RL and MOO/D. Its versatility is
demonstrated by implementing it in different configurations and assessing it on
contrasting benchmark problems. Results indicate MORL/D instantiations achieve
comparable performance to current state-of-the-art approaches on the studied
problems. By presenting the taxonomy and framework, this paper offers a
comprehensive perspective and a unified vocabulary for MORL. This not only
facilitates the identification of algorithmic contributions but also lays the
groundwork for novel research avenues in MORL.
- Abstract(参考訳): 多目的強化学習(MORL)は、対立する目的の間で異なる妥協を行う政策を求めることにより、従来のRLを拡張している。
近年のMORLへの関心の高まりは様々な研究や解法をもたらし、しばしば分解(MOO/D)に基づく多目的最適化における既存の知識から引き出された。
しかし、既存の文献では、RLとMOO/Dの両方に基づいた明確な分類が欠落している。
その結果、morlの研究者は、標準化された分類がないため、より広い文脈で貢献を分類しようとすると困難に陥る。
そこで本稿では,rlとmooの文献を橋渡しする新しい手法である分解法(morl/d)に基づく多目的強化学習を提案する。
MORL/Dの包括的分類法が提示され、既存のおよび潜在的なMORL作品の分類のための構造化された基盤を提供する。
導入された分類法は、MORLの研究を精査し、明確に分類することで明確さと簡潔さを高めるために用いられる。
さらに,分類から派生した柔軟な枠組みを導入する。
このフレームワークは、RLとMOO/Dの両方のツールを使用して、多様なインスタンス化を実現する。
その汎用性は異なる構成で実装し、対照的なベンチマーク問題に基づいて評価することで実証される。
その結果, MORL/Dのインスタンス化は, 現状技術に匹敵する性能を示した。
分類と枠組みを提示することにより,本論文は総合的な視点とMORLの統一語彙を提供する。
これによりアルゴリズムによる貢献の特定が容易になるだけでなく、モルにおける新しい研究の道の基礎となる。
関連論文リスト
- Demonstration Guided Multi-Objective Reinforcement Learning [2.9845592719739127]
実証誘導多目的強化学習(DG-MORL)を導入する。
この新しいアプローチでは、事前のデモンストレーションを利用し、コーナーウェイトサポートを通じてユーザの好みに合わせて調整し、自己進化メカニズムを取り入れて、準最適デモを洗練させる。
我々の実証研究は、DG-MORLが既存のMORLアルゴリズムよりも優れていることを示し、その堅牢性と有効性を確立した。
論文 参考訳(メタデータ) (2024-04-05T10:19:04Z) - Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods [14.048999875266734]
大規模言語モデル(LLMs)は強化学習(RL)への有望な道として出現する
本稿では,従来のRL法と比較して,$textitLLM-enhanced RL$における既存文献の包括的レビューを行い,その特徴を要約する。
本稿では,情報処理装置,報酬設計装置,意思決定装置,ジェネレータの4つの役割を含む,RLにおけるLLMの機能を体系的に分類する構造的分類法を提案する。
論文 参考訳(メタデータ) (2024-03-30T08:28:08Z) - Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - Large Multimodal Agents: A Survey [78.81459893884737]
大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。
LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。
本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
論文 参考訳(メタデータ) (2024-02-23T06:04:23Z) - Towards an Information Theoretic Framework of Context-Based Offline
Meta-Reinforcement Learning [50.976910714839065]
コンテクストベースのOMRL(COMRL)は,効率的なタスク表現を前提としたユニバーサルポリシーの学習を目的としている。
我々はCOMRLアルゴリズムが,タスク変数$boldsymbolM$と,その潜在表現$boldsymbolZ$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。
理論的な洞察と情報ボトルネックの原理に基づいて、我々はUNICORNと呼ばれる新しいアルゴリズムに到達し、RLベンチマークの幅広い範囲にわたって顕著な一般化を示す。
論文 参考訳(メタデータ) (2024-02-04T09:58:42Z) - Hybridization of evolutionary algorithm and deep reinforcement learning
for multi-objective orienteering optimization [16.23652137705642]
多目的オリエンテーリング問題(MO-OP)は、古典的な多目的ルーティング問題である。
本研究は,MO-OPを問題分解フレームワークを用いて解くことを目的とする。
論文 参考訳(メタデータ) (2022-06-21T15:20:42Z) - Semantic Representation and Dependency Learning for Multi-Label Image
Recognition [76.52120002993728]
本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。
具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。
また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
論文 参考訳(メタデータ) (2022-04-08T00:55:15Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-10-18T17:56:02Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳(メタデータ) (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。