論文の概要: Multi-Objective Reinforcement Learning based on Decomposition: A
taxonomy and framework
- arxiv url: http://arxiv.org/abs/2311.12495v1
- Date: Tue, 21 Nov 2023 10:11:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 01:05:20.208958
- Title: Multi-Objective Reinforcement Learning based on Decomposition: A
taxonomy and framework
- Title(参考訳): 分解に基づく多目的強化学習:分類学と枠組み
- Authors: Florian Felten and El-Ghazali Talbi and Gr\'egoire Danoy
- Abstract要約: 本稿では,RLとMOOを橋渡しする新しい方法論である分解に基づく多目的強化学習(MORL/D)を提案する。
MORL/Dの包括的分類法が提示され、既存のMORL作品と潜在的なMORL作品の分類のための構造的基盤を提供する。
その結果、MORL/Dのインスタンス化は、現在の最先端手法よりもはるかに高い汎用性で、同等の性能を達成できることがわかった。
- 参考スコア(独自算出の注目度): 0.3069335774032178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-objective reinforcement learning (MORL) extends traditional RL by
seeking policies making different compromises among conflicting objectives. The
recent surge of interest in MORL has led to diverse studies and solving
methods, often drawing from existing knowledge in multi-objective optimization
based on decomposition (MOO/D). Yet, a clear categorization based on both RL
and MOO/D is lacking in the existing literature. Consequently, MORL researchers
face difficulties when trying to classify contributions within a broader
context due to the absence of a standardized taxonomy. To tackle such an issue,
this paper introduces Multi-Objective Reinforcement Learning based on
Decomposition (MORL/D), a novel methodology bridging RL and MOO literature. A
comprehensive taxonomy for MORL/D is presented, providing a structured
foundation for categorizing existing and potential MORL works. The introduced
taxonomy is then used to scrutinize MORL research, enhancing clarity and
conciseness through well-defined categorization. Moreover, a flexible framework
derived from the taxonomy is introduced. This framework accommodates diverse
instantiations using tools from both RL and MOO/D. Implementation across
various configurations demonstrates its versatility, assessed against benchmark
problems. Results indicate MORL/D instantiations achieve comparable performance
with significantly greater versatility than current state-of-the-art
approaches. By presenting the taxonomy and framework, this paper offers a
comprehensive perspective and a unified vocabulary for MORL. This not only
facilitates the identification of algorithmic contributions but also lays the
groundwork for novel research avenues in MORL, contributing to the continued
advancement of this field.
- Abstract(参考訳): 多目的強化学習(MORL)は、対立する目的の間で異なる妥協を行う政策を求めることにより、従来のRLを拡張している。
近年のMORLへの関心の高まりは様々な研究や解法をもたらし、しばしば分解(MOO/D)に基づく多目的最適化における既存の知識から引き出された。
しかし、既存の文献では、RLとMOO/Dの両方に基づいた明確な分類が欠落している。
その結果、morlの研究者は、標準化された分類がないため、より広い文脈で貢献を分類しようとすると困難に陥る。
そこで本研究では,RLとMOOを橋渡しする新しい手法である分解に基づく多目的強化学習(MORL/D)を提案する。
MORL/Dの包括的分類法が提示され、既存のおよび潜在的なMORL作品の分類のための構造化された基盤を提供する。
導入された分類法は、MORLの研究を精査し、明確に分類することで明確さと簡潔さを高めるために用いられる。
さらに,分類から派生した柔軟な枠組みを導入する。
このフレームワークは、RLとMOO/Dの両方のツールを使用して、多様なインスタンス化を実現する。
様々な構成の実装は、その汎用性を示し、ベンチマーク問題に対して評価する。
その結果、MORL/Dのインスタンス化は、現在の最先端手法よりもはるかに高い汎用性で、同等の性能を達成できた。
分類と枠組みを提示することにより,本論文は総合的な視点とMORLの統一語彙を提供する。
これによりアルゴリズムによる貢献の特定が容易になるだけでなく、モルにおける新しい研究の道の基礎が築かれ、この分野の継続的な発展に寄与した。
関連論文リスト
- Demonstration Guided Multi-Objective Reinforcement Learning [2.9845592719739127]
実証誘導多目的強化学習(DG-MORL)を導入する。
この新しいアプローチでは、事前のデモンストレーションを利用し、コーナーウェイトサポートを通じてユーザの好みに合わせて調整し、自己進化メカニズムを取り入れて、準最適デモを洗練させる。
我々の実証研究は、DG-MORLが既存のMORLアルゴリズムよりも優れていることを示し、その堅牢性と有効性を確立した。
論文 参考訳(メタデータ) (2024-04-05T10:19:04Z) - Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods [14.048999875266734]
大規模言語モデル(LLMs)は強化学習(RL)への有望な道として出現する
本稿では,従来のRL法と比較して,$textitLLM-enhanced RL$における既存文献の包括的レビューを行い,その特徴を要約する。
本稿では,情報処理装置,報酬設計装置,意思決定装置,ジェネレータの4つの役割を含む,RLにおけるLLMの機能を体系的に分類する構造的分類法を提案する。
論文 参考訳(メタデータ) (2024-03-30T08:28:08Z) - Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - Large Multimodal Agents: A Survey [78.81459893884737]
大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。
LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。
本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
論文 参考訳(メタデータ) (2024-02-23T06:04:23Z) - Towards an Information Theoretic Framework of Context-Based Offline
Meta-Reinforcement Learning [50.976910714839065]
コンテクストベースのOMRL(COMRL)は,効率的なタスク表現を前提としたユニバーサルポリシーの学習を目的としている。
我々はCOMRLアルゴリズムが,タスク変数$boldsymbolM$と,その潜在表現$boldsymbolZ$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。
理論的な洞察と情報ボトルネックの原理に基づいて、我々はUNICORNと呼ばれる新しいアルゴリズムに到達し、RLベンチマークの幅広い範囲にわたって顕著な一般化を示す。
論文 参考訳(メタデータ) (2024-02-04T09:58:42Z) - Hybridization of evolutionary algorithm and deep reinforcement learning
for multi-objective orienteering optimization [16.23652137705642]
多目的オリエンテーリング問題(MO-OP)は、古典的な多目的ルーティング問題である。
本研究は,MO-OPを問題分解フレームワークを用いて解くことを目的とする。
論文 参考訳(メタデータ) (2022-06-21T15:20:42Z) - Semantic Representation and Dependency Learning for Multi-Label Image
Recognition [76.52120002993728]
本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。
具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。
また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
論文 参考訳(メタデータ) (2022-04-08T00:55:15Z) - Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。
我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。
我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-10-18T17:56:02Z) - Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。
既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。
モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
論文 参考訳(メタデータ) (2020-11-19T22:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。