論文の概要: To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.01837v1
• Date: Mon, 1 Jul 2024 22:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 17:23:15.265969
• Title: To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
• Title（参考訳）: スイッチするかどうか? オフライン強化学習におけるバランスの取れたポリシースイッチング
• Authors: Tao Ma, Xuzhi Yang, Zoltan Szabo,
• Abstract要約: いくつかの決定問題では、政策変更の可能性に直面し、それは無視できないコストを引き起こす。 本稿では,利得とスイッチングコストを柔軟かつ原則的にバランスをとるための新しい戦略を提案する。 提案するスイッチング式に対する基本特性を確立し,Net Actor-Criticアルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 2.951820152291149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) -- finding the optimal behaviour (also referred to as policy) maximizing the collected long-term cumulative reward -- is among the most influential approaches in machine learning with a large number of successful applications. In several decision problems, however, one faces the possibility of policy switching -- changing from the current policy to a new one -- which incurs a non-negligible cost (examples include the shifting of the currently applied educational technology, modernization of a computing cluster, and the introduction of a new webpage design), and in the decision one is limited to using historical data without the availability for further online interaction. Despite the inevitable importance of this offline learning scenario, to our best knowledge, very little effort has been made to tackle the key problem of balancing between the gain and the cost of switching in a flexible and principled way. Leveraging ideas from the area of optimal transport, we initialize the systematic study of policy switching in offline RL. We establish fundamental properties and design a Net Actor-Critic algorithm for the proposed novel switching formulation. Numerical experiments demonstrate the efficiency of our approach on multiple benchmarks of the Gymnasium.
• Abstract（参考訳）: 強化学習(RL) -- 収集した長期累積報酬を最大化する最適な行動(ポリシーとも呼ばれる)を見つける -- は、多数の成功したアプリケーションで機械学習において最も影響力のあるアプローチである。しかし、いくつかの決定問題では、政策変更 -- 現行のポリシーから新しいものに変更 -- が直面する可能性に直面している。これは、現在適用されている教育技術の変化、コンピューティングクラスタの近代化、新しいWebページデザインの導入など、未解決のオンラインインタラクションの可用性のない歴史的なデータの使用に制限されている。 このオフライン学習シナリオの必然的な重要性にもかかわらず、私たちの知る限りでは、ゲインと柔軟性と原則的な方法で切り替えるコストのバランスをとるという重要な問題に対処するための努力はほとんど行われていません。 最適輸送領域からアイデアを活用することで、オフラインRLにおけるポリシースイッチングの体系的研究を初期化する。 提案するスイッチング式に対する基本特性を確立し,Net Actor-Criticアルゴリズムを設計する。 数値実験により、ギムナジウムの複数のベンチマークに対するアプローチの有効性が示された。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Diversity for Contingency: Learning Diverse Behaviors for Efficient Adaptation and Transfer [0.0]
  与えられたタスクのすべての可能な解を見つけるための簡単な方法を提案する。 従来の手法とは異なり,本手法では新規性検出のための新たなモデルを学ぶ必要はない。
  論文  参考訳（メタデータ） (2023-10-11T13:39:35Z)
• IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse [50.90781542323258]
  強化学習(RL)エージェントは、ソースポリシーからの知識を関連する目標タスクに転送することができる。 従来手法では,階層的なポリシやソースポリシの値関数の見積など,新たなコンポーネントが導入されていた。 本稿では,余分なコンポーネントを訓練せずにソースポリシーを選択する新しい転送RL法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:22:35Z)
• Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
  オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。 私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。 これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
  論文  参考訳（メタデータ） (2023-02-06T17:30:22Z)
• Mitigating Off-Policy Bias in Actor-Critic Methods with One-Step Q-learning: A Novel Correction Approach [0.0]
  我々は,このような不一致が継続的制御に与える影響を軽減するために,新しい政策類似度尺度を導入する。 本手法は、決定論的政策ネットワークに適用可能な、適切な単一ステップのオフ・ポリシー補正を提供する。
  論文  参考訳（メタデータ） (2022-08-01T11:33:12Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Bridging the gap between Markowitz planning and deep reinforcement learning [0.0]
  本稿では,Deep Reinforcement Learning(深層強化学習)技術がポートフォリオアロケーションに新たな光を放つ方法を示す。 i)DRLは、設計による行動に直接市場条件をマッピングし、環境の変化に適応すべきであり、(ii)DRLは、リスクが分散によって表されるような従来の金融リスクの仮定に依存せず、(iii)DRLは追加データを組み込むことができ、より伝統的な最適化手法とは対照的にマルチインプット方式である。
  論文  参考訳（メタデータ） (2020-09-30T04:03:27Z)
• Efficient Deep Reinforcement Learning via Adaptive Policy Transfer [50.51637231309424]
  強化学習(RL)を促進するための政策伝達フレームワーク(PTF)の提案 我々のフレームワークは、いつ、いつ、どのソースポリシーがターゲットポリシーの再利用に最適なのか、いつそれを終了するかを学習する。 実験結果から,学習過程を著しく加速し,最先端の政策伝達手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2020-02-19T07:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。