論文の概要: Reinforcement Learning with Non-Cumulative Objective

• arxiv url: http://arxiv.org/abs/2307.04957v2
• Date: Fri, 12 Apr 2024 00:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 20:06:10.705910
• Title: Reinforcement Learning with Non-Cumulative Objective
• Title（参考訳）: 非累積目的語を用いた強化学習
• Authors: Wei Cui, Wei Yu,
• Abstract要約: 強化学習では、その目的は、ほぼ常にプロセスに沿った報酬に対する累積関数として定義される。 本稿では,そのような目的を最適化するための既存アルゴリズムの修正を提案する。
• 参考スコア（独自算出の注目度）: 12.906500431427716
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In reinforcement learning, the objective is almost always defined as a \emph{cumulative} function over the rewards along the process. However, there are many optimal control and reinforcement learning problems in various application fields, especially in communications and networking, where the objectives are not naturally expressed as summations of the rewards. In this paper, we recognize the prevalence of non-cumulative objectives in various problems, and propose a modification to existing algorithms for optimizing such objectives. Specifically, we dive into the fundamental building block for many optimal control and reinforcement learning algorithms: the Bellman optimality equation. To optimize a non-cumulative objective, we replace the original summation operation in the Bellman update rule with a generalized operation corresponding to the objective. Furthermore, we provide sufficient conditions on the form of the generalized operation as well as assumptions on the Markov decision process under which the globally optimal convergence of the generalized Bellman updates can be guaranteed. We demonstrate the idea experimentally with the bottleneck objective, i.e., the objectives determined by the minimum reward along the process, on classical optimal control and reinforcement learning tasks, as well as on two network routing problems on maximizing the flow rates.
• Abstract（参考訳）: 強化学習では、目的はほとんど常にプロセスに沿った報酬に対して \emph{cumulative} 関数として定義される。 しかし、様々な分野、特にコミュニケーションやネットワークにおいて、目的が報酬の和として自然に表現されない最適制御と強化学習の問題が多く存在する。 本稿では, 様々な問題における非累積的対象の出現率を認識し, その最適化のための既存アルゴリズムの修正を提案する。 具体的には,ベルマン最適性方程式 (BellmanOptimity equation) という,多くの最適制御および強化学習アルゴリズムの基本的な構成要素について検討する。 非累積目的を最適化するために、ベルマン更新規則における元の総和演算を目的に対応する一般化演算に置き換える。 さらに、一般化された操作の形式に関する十分な条件と、一般化されたベルマン更新の最適収束が保証されるマルコフ決定過程に関する仮定を提供する。 本研究では,フロー速度の最大化に関する2つのネットワークルーティング問題と同様に,従来の最適制御および強化学習タスクにおいて,プロセスの最小報酬によって決定される目標をボトルネック目標として実験的に示す。

関連論文リスト

• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。 提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
  論文  参考訳（メタデータ） (2022-10-21T22:27:07Z)
• Unsupervised Learning for Combinatorial Optimization with Principled Objective Relaxation [19.582494782591386]
  本研究は,最適化(CO)問題に対する教師なし学習フレームワークを提案する。 我々の重要な貢献は、緩和された目的がエントリーワイドな凹凸を満たすならば、低い最適化損失は最終積分解の品質を保証するという観察である。 特に、この観察は、対象が明示的に与えられていないアプリケーションにおいて、事前にモデル化される必要がある場合に、対象モデルの設計を導くことができる。
  論文  参考訳（メタデータ） (2022-07-13T06:44:17Z)
• From STL Rulebooks to Rewards [4.859570041295978]
  本稿では,多目的の強化学習のための報酬形成のための原則的アプローチを提案する。 まずSTLに新しい定量的セマンティクスを組み、個々の要求を自動的に評価する。 次に,複数の要件の評価を1つの報酬に体系的に組み合わせる手法を開発した。
  論文  参考訳（メタデータ） (2021-10-06T14:16:59Z)
• Reinforcement Learning Agent Training with Goals for Real World Tasks [3.747737951407512]
  強化学習(RL)は、様々な制御、最適化、シーケンシャルな意思決定タスクを解決するための有望なアプローチである。 複雑な制御および最適化タスクのための仕様言語(Inkling Goal Specification)を提案する。 提案手法は現実世界のタスクを多種多様なタスクで指定するのに非常に容易であることを示す実験のセットを含む。
  論文  参考訳（メタデータ） (2021-07-21T23:21:16Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Planning with Submodular Objective Functions [118.0376288522372]
  準モジュラー目的関数を用いて計画を行い、累積報酬を最大化する代わりに、劣モジュラー関数によって誘導される値の最大化を目標とする。 本フレームワークは, 基本性制約を特別な場合として, 標準計画と準モジュラー目標を仮定する。
  論文  参考訳（メタデータ） (2020-10-22T16:55:12Z)
• Submodular Meta-Learning [43.15332631500541]
  将来的なタスクのパフォーマンス向上のために,メタラーニングフレームワークの個別版を導入する。 我々のアプローチは、事前データ、すなわち、以前に訪れたタスクを使用して、適切な初期ソリューションセットをトレーニングすることを目的としている。 我々のフレームワークは、性能損失を小さく抑えながら、新しいタスクを解く際に、計算の複雑さを著しく低減させることを示した。
  論文  参考訳（メタデータ） (2020-07-11T21:02:48Z)
• On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
  モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。 学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-23T17:33:14Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。