論文の概要: Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.12001v2
• Date: Mon, 30 Sep 2024 09:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:01:11.381151
• Title: Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning
• Title（参考訳）: Scrutinize What Ignore: Reining In Task Representation Shift of Context-based Offline Meta Reinforcement Learning
• Authors: Hai Zhang, Boyuan Zheng, Tianying Ji, Jinhang Liu, Anqi Guo, Junqiao Zhao, Lanqing Li,
• Abstract要約: オフラインメタ強化学習(OMRL)は、相互作用回避と強力な一般化性能のための有望なアプローチとして登場した。 従来のコンテキストベースのアプローチは、コンテキストエンコーダとポリシーの最適化がパフォーマンス改善につながるという直感に依存しています。 タスク表現のシフトを抑えることで、パフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 10.792687309720169
• License:
• Abstract: Offline meta reinforcement learning (OMRL) has emerged as a promising approach for interaction avoidance and strong generalization performance by leveraging pre-collected data and meta-learning techniques. Previous context-based approaches predominantly rely on the intuition that alternating optimization between the context encoder and the policy can lead to performance improvements, as long as the context encoder follows the principle of maximizing the mutual information between the task and the task representation ($I(Z;M)$) while the policy adopts the standard offline reinforcement learning (RL) algorithms conditioning on the learned task representation. Despite promising results, the theoretical justification of performance improvements for such intuition remains underexplored. Inspired by the return discrepancy scheme in the model-based RL field, we find that the previous optimization framework can be linked with the general RL objective of maximizing the expected return, thereby providing a feasible explanation concerning performance improvements. Furthermore, after scrutinizing this optimization framework, we find it ignores the impacts stemming from the variation of the task representation in the alternating optimization process, which may lead to performance improvement collapse. We name this issue \underline{task representation shift} and theoretically prove that the monotonic performance improvements can be guaranteed with appropriate context encoder updates. We set different manners to rein in the task representation shift on three widely adopted training objectives concerning maximizing $I(Z;M)$ across different data qualities. Empirical results show that reining in the task representation shift can indeed improve performance. Our work opens up a new avenue for OMRL, leading to a better understanding between the performance and the task representation.
• Abstract（参考訳）: オフラインメタ強化学習(OMRL)は,事前収集データとメタラーニング技術を活用することにより,インタラクション回避と強力な一般化性能を実現するための有望なアプローチとして登場した。 従来のコンテキストベースアプローチでは、コンテキストエンコーダがタスクとタスク表現の相互情報の最大化(I(Z;M)$)の原則に従っている限り、コンテキストエンコーダとポリシー間の最適化を交互に行うという直感に大きく依存しており、一方ポリシーは学習されたタスク表現に基づいて標準のオフライン強化学習(RL)アルゴリズムを採用する。 有望な結果にもかかわらず、そのような直観に対する性能改善の理論的正当性は未解明のままである。 モデルベースRL分野のリターン不一致スキームに着想を得た結果,従来の最適化フレームワークは期待したリターンを最大化するための一般RL目標とリンク可能であることが判明した。 さらに, この最適化フレームワークを精査した結果, 繰り返し最適化プロセスにおけるタスク表現の変動に起因する影響を無視し, 性能改善の崩壊につながる可能性が示唆された。 我々はこの問題を‘underline{task representation shift}’と命名し、適切なコンテキストエンコーダ更新によってモノトニック性能の改善が保証できることを理論的に証明する。 データ品質の異なる$I(Z;M)$を最大化することに関して、広く採用されている3つのトレーニング目標に対して、タスク表現のシフトを抑えるために異なる方法を設定しました。 実験結果から,タスク表現のシフトを抑えることで,性能が向上することが示された。 我々はOMRLの新たな道を開き、パフォーマンスとタスク表現をよりよく理解する。

関連論文リスト

• STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
  WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。 既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。 本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
  論文  参考訳（メタデータ） (2024-04-20T07:56:21Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Behavior Prior Representation learning for Offline Reinforcement Learning [23.200489608592694]
  状態表現の学習にはシンプルで効果的なアプローチを導入する。 我々の手法である振舞い優先表現(BPR)は、データセットの振舞いクローニングに基づいて、容易に統合可能な目的で状態表現を学習する。 既存のオフラインRLアルゴリズムとBPRが組み合わさって、いくつかのオフライン制御ベンチマークにおいて大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2022-11-02T04:15:20Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
  勾配に基づくメタラーナーはタスク分布に敏感であることを示す。 間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
  論文  参考訳（メタデータ） (2020-02-19T01:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。