論文の概要: Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2406.06309v2
• Date: Sat, 16 Nov 2024 14:03:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:39.305359
• Title: Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning?
• Title（参考訳）: オフライン強化学習のための分類プラグ・アンド・プレイによる価値関数の推定は可能か?
• Authors: Denis Tarasov, Kirill Brilliantov, Dmitrii Kharlapenko,
• Abstract要約: 深層強化学習(RL)では、値関数はディープニューラルネットワークを用いて近似され、平均2乗誤差回帰目標を用いて訓練される。 近年の研究では、クロスエントロピー分類の目的を活かした代替手法が提案されている。 我々の研究は、オフラインのRLセットアップにおけるそのような置換の影響を実証的に調査することを目指している。
• 参考スコア（独自算出の注目度）: 1.9116784879310031
• License:
• Abstract: In deep Reinforcement Learning (RL), value functions are typically approximated using deep neural networks and trained via mean squared error regression objectives to fit the true value functions. Recent research has proposed an alternative approach, utilizing the cross-entropy classification objective, which has demonstrated improved performance and scalability of RL algorithms. However, existing study have not extensively benchmarked the effects of this replacement across various domains, as the primary objective was to demonstrate the efficacy of the concept across a broad spectrum of tasks, without delving into in-depth analysis. Our work seeks to empirically investigate the impact of such a replacement in an offline RL setup and analyze the effects of different aspects on performance. Through large-scale experiments conducted across a diverse range of tasks using different algorithms, we aim to gain deeper insights into the implications of this approach. Our results reveal that incorporating this change can lead to superior performance over state-of-the-art solutions for some algorithms in certain tasks, while maintaining comparable performance levels in other tasks, however for other algorithms this modification might lead to the dramatic performance drop. This findings are crucial for further application of classification approach in research and practical tasks.
• Abstract（参考訳）: 深層強化学習(RL)では、値関数は一般的にディープニューラルネットワークを用いて近似され、真値関数に適合するように平均2乗誤差回帰目標を用いて訓練される。 近年の研究では,RLアルゴリズムの性能向上と拡張性を示すクロスエントロピー分類の目的を活かした代替手法が提案されている。 しかし、既存の研究では、この置換が様々な領域にまたがる影響を広範囲にベンチマークしていないため、その主な目的は、深い分析をすることなく、幅広いタスクにまたがる概念の有効性を実証することであった。 我々の研究は、オフラインのRLセットアップにおけるこのような代替がパフォーマンスに与える影響を実証的に調査し、異なる側面がパフォーマンスに与える影響を分析することを目的としている。 様々なアルゴリズムを用いて多種多様なタスクにまたがる大規模な実験を行うことで、このアプローチがもたらす影響についてより深い洞察を得ることを目指している。 以上の結果から,この変更を組み込むことによって,特定のタスクにおいて,特定のタスクにおける最先端のソリューションよりも優れたパフォーマンスが得られる一方で,他のタスクにおいて同等のパフォーマンスレベルを維持することができるが,他のアルゴリズムでは,この変更により,劇的なパフォーマンス低下につながる可能性がある。 この発見は、研究および実践的なタスクにおける分類アプローチのさらなる適用に不可欠である。

関連論文リスト

• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
  因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。 提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2024-02-22T13:22:06Z)
• Investigating the Impact of Action Representations in Policy Gradient Algorithms [11.383263522013868]
  強化学習(Reinforcement learning)は、複雑な現実世界のタスクを学習するための汎用的なフレームワークである。 RLアルゴリズムの学習性能への影響は、実際はあまり理解されていないことが多い。
  論文  参考訳（メタデータ） (2023-09-13T12:41:45Z)
• Regularization Through Simultaneous Learning: A Case Study on Plant Classification [0.0]
  本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。 我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。 興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-22T19:44:57Z)
• Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation [17.165083095799712]
  本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。 そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-20T03:55:09Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Taylor Expansion of Discount Factors [56.46324239692532]
  実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。 本研究では,この割引要因の相違が学習中に与える影響について検討し,2つの異なる割引要因の値関数を補間する目的のファミリーを発見する。
  論文  参考訳（メタデータ） (2021-06-11T05:02:17Z)
• Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning [1.3106063755117399]
  SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。 理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
  論文  参考訳（メタデータ） (2021-02-22T05:05:16Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。