論文の概要: Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2502.20957v1
- Date: Fri, 28 Feb 2025 11:13:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:41:15.611840
- Title: Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
- Title（参考訳）: スケーラブルな多目的強化学習のための逆次元削減
- Authors: Giseung Park, Youngchul Sung,
- Abstract要約: 本稿では,多目的強化学習アルゴリズムのスケーラビリティ問題に対処する,単純かつ効果的な報酬次元削減手法を提案する。
本手法は,多目的設定における学習効率と政策性能を向上させるために次元削減手法を用いる。
- 参考スコア（独自算出の注目度）: 17.188280334580195
- License:
- Abstract: In this paper, we introduce a simple yet effective reward dimension reduction method to tackle the scalability challenges of multi-objective reinforcement learning algorithms. While most existing approaches focus on optimizing two to four objectives, their abilities to scale to environments with more objectives remain uncertain. Our method uses a dimension reduction approach to enhance learning efficiency and policy performance in multi-objective settings. While most traditional dimension reduction methods are designed for static datasets, our approach is tailored for online learning and preserves Pareto-optimality after transformation. We propose a new training and evaluation framework for reward dimension reduction in multi-objective reinforcement learning and demonstrate the superiority of our method in environments including one with sixteen objectives, significantly outperforming existing online dimension reduction methods.
- Abstract（参考訳）: 本稿では,多目的強化学習アルゴリズムのスケーラビリティ問題に対処する,単純かつ効果的な報酬次元削減手法を提案する。
既存のアプローチのほとんどは2～4つの目標の最適化に重点を置いているが、より多くの目標を持つ環境にスケールする能力はいまだに不確実である。
本手法は,多目的設定における学習効率と政策性能を向上させるために次元削減手法を用いる。
従来の次元削減手法は静的なデータセット用に設計されているが,我々の手法はオンライン学習に適したものであり,変換後のパレート最適性を保っている。
我々は,多目的強化学習における報酬次元削減のための新たなトレーニングおよび評価フレームワークを提案し,既存のオンライン次元削減手法を著しく上回る16の目標を含む環境において,本手法の優位性を示す。
関連論文リスト
- Multi-objective Deep Learning: Taxonomy and Survey of the State of the Art [1.534667887016089]
本調査は,多目的深層学習の分野における最近の進歩について報告する。
本稿では,学習アルゴリズムの種類と意思決定者のニーズに基づく既存手法の分類について紹介する。
教師なし学習、教師なし学習、強化学習の3つの主要な学習パラダイムが網羅され、また、最近非常に人気のあるジェネレーティブモデリングの領域にも対処する。
論文 参考訳（メタデータ） (2024-12-02T14:51:21Z) - Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。
LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。
また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
論文 参考訳（メタデータ） (2024-07-15T07:36:00Z) - Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems [60.91599969408029]
複数の目的を同時に最適化することは、レコメンデーションプラットフォームにとって重要なタスクです。
既存の多目的推薦システムは、そのような動的な関係を体系的に考慮していない。
論文 参考訳（メタデータ） (2024-07-04T02:19:49Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning [26.244121960815907]
本稿では,多目的学習と制約順守の政策最適化を協調するプライマリベースフレームワークを提案する。
提案手法は,複数のRL目標を最適化するために,新しい自然ポリシー勾配演算法を用いる。
また,提案手法は,安全性の高い多目的強化学習タスクにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-26T00:42:10Z) - Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline
Pre-Training with Model Based Augmentation [59.899714450049494]
オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。
本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
論文 参考訳（メタデータ） (2023-12-15T14:49:41Z) - Enhancing Robotic Navigation: An Evaluation of Single and
Multi-Objective Reinforcement Learning Strategies [0.9208007322096532]
本研究では,ロボットが目的達成に向けて効果的に移動できるよう訓練するための単目的と多目的の強化学習法の比較分析を行った。
報酬関数を変更して報酬のベクターを返却し、それぞれ異なる目的に関連付けることで、ロボットはそれぞれの目標を効果的にバランスさせるポリシーを学ぶ。
論文 参考訳（メタデータ） (2023-12-13T08:00:26Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Sample Less, Learn More: Efficient Action Recognition via Frame Feature
Restoration [59.6021678234829]
本稿では,2つのスパースサンプリングおよび隣接するビデオフレームの中間特徴を復元する新しい手法を提案する。
提案手法の統合により, 一般的な3つのベースラインの効率は50%以上向上し, 認識精度は0.5%低下した。
論文 参考訳（メタデータ） (2023-07-27T13:52:42Z) - Cycle Consistency Driven Object Discovery [75.60399804639403]
本研究では,シーンの各オブジェクトが異なるスロットに関連付けられなければならない制約を明示的に最適化する手法を提案する。
これらの一貫性目標を既存のスロットベースのオブジェクト中心手法に統合することにより、オブジェクト発見性能を大幅に改善することを示す。
提案手法は,オブジェクト発見を改善するだけでなく,下流タスクのよりリッチな機能も提供することを示唆している。
論文 参考訳（メタデータ） (2023-06-03T21:49:06Z) - Latent-Conditioned Policy Gradient for Multi-Objective Deep Reinforcement Learning [2.1408617023874443]
本稿では,政策勾配を用いて単一ニューラルネットワークを学習する多目的強化学習(MORL)アルゴリズムを提案する。
提案手法はポリシーネットワークの設計変更を伴わない連続的かつ離散的な行動空間で機能する。
論文 参考訳（メタデータ） (2023-03-15T20:07:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。