論文の概要: CausalCOMRL: Context-Based Offline Meta-Reinforcement Learning with Causal Representation

• arxiv url: http://arxiv.org/abs/2502.00983v1
• Date: Mon, 03 Feb 2025 01:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:03.807509
• Title: CausalCOMRL: Context-Based Offline Meta-Reinforcement Learning with Causal Representation
• Title（参考訳）: CausalCOMRL:Causal表現を用いたコンテキストベースオフラインメタ強化学習
• Authors: Zhengzhe Zhang, Wenjia Meng, Haoliang Sun, Gang Pan,
• Abstract要約: CausalCOMRLは、因果表現学習を統合するコンテキストベースのOMRL手法である。 CausalCOMRLは,ほとんどのベンチマークにおいて,他の手法よりも優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 13.575628222213387
• License:
• Abstract: Context-based offline meta-reinforcement learning (OMRL) methods have achieved appealing success by leveraging pre-collected offline datasets to develop task representations that guide policy learning. However, current context-based OMRL methods often introduce spurious correlations, where task components are incorrectly correlated due to confounders. These correlations can degrade policy performance when the confounders in the test task differ from those in the training task. To address this problem, we propose CausalCOMRL, a context-based OMRL method that integrates causal representation learning. This approach uncovers causal relationships among the task components and incorporates the causal relationships into task representations, enhancing the generalizability of RL agents. We further improve the distinction of task representations from different tasks by using mutual information optimization and contrastive learning. Utilizing these causal task representations, we employ SAC to optimize policies on meta-RL benchmarks. Experimental results show that CausalCOMRL achieves better performance than other methods on most benchmarks.
• Abstract（参考訳）: コンテキストベースのオフラインメタ強化学習(OMRL)手法は、事前コンパイルされたオフラインデータセットを活用して、ポリシー学習を導くタスク表現を開発することで、魅力的な成功を収めている。 しかし、現在の文脈に基づくOMRL法は、しばしば、共同設立者によってタスクコンポーネントが誤って相関しているような、刺激的な相関を導入している。 これらの相関は、テストタスクの共同創業者がトレーニングタスクの創設者と異なる場合、ポリシーパフォーマンスを低下させる可能性がある。 そこで本研究では,因果表現学習を統合したコンテキストベースOMRL手法であるCausalCOMRLを提案する。 このアプローチは、タスクコンポーネント間の因果関係を明らかにし、その因果関係をタスク表現に組み込んで、RLエージェントの一般化性を高める。 我々は、相互情報最適化とコントラスト学習を用いて、タスク表現と異なるタスクとの区別をさらに改善する。 これらの因果的タスク表現を利用して、メタRLベンチマークのポリシーを最適化するためにSACを用いる。 実験の結果,CausalCOMRLは他のベンチマーク手法よりも優れた性能を示した。

関連論文リスト

• Meta-RTL: Reinforcement-Based Meta-Transfer Learning for Low-Resource Commonsense Reasoning [61.8360232713375]
  低リソースコモンセンス推論のための強化型マルチソースメタトランスファー学習フレームワーク(Meta-RTL)を提案する。 本稿では,メタトランスファー学習において,対象タスクに対するタスクの寄与を動的に推定する手法を提案する。 実験の結果,Meta-RTLは,強いベースラインと以前のタスク選択戦略を大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T18:22:22Z)
• Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
  我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。 実演として、$I(Z; M)$の教師付きおよび自己教師型実装を提案し、対応する最適化アルゴリズムがRLベンチマークの幅広いスペクトルにわたって顕著な一般化を示すことを実証的に示す。 本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
  論文  参考訳（メタデータ） (2024-02-04T09:58:42Z)
• Hacking Task Confounder in Meta-Learning [18.179340061914708]
  本稿では,メタ学習コーサル表現(MetaCRL)を提案する。 我々の研究は、ベンチマークデータセット上での最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2023-12-10T05:33:40Z)
• On Context Distribution Shift in Task Representation Learning for Offline Meta RL [7.8317653074640186]
  我々は、文脈に基づくOMRL、特にOMRLのタスク表現学習の課題に焦点を当てる。 この問題を解決するために、堅牢なタスクコンテキストエンコーダをトレーニングするためのハードサンプリングベースの戦略を提案する。
  論文  参考訳（メタデータ） (2023-04-01T16:21:55Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• Model-Based Offline Meta-Reinforcement Learning with Regularization [63.35040401948943]
  オフラインのMeta-RLは、これらの課題に対処するための有望なアプローチとして現れています。 MerPOは、効率的なタスク構造推論と情報的メタ政治のためのメタモデルを学ぶ。 我々は,MerPOが行動政策とメタ政治の両方に対して,保証された改善を提供することを示す。
  論文  参考訳（メタデータ） (2022-02-07T04:15:20Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)
• Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning [1.3106063755117399]
  SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。 理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
  論文  参考訳（メタデータ） (2021-02-22T05:05:16Z)
• FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization [10.243908145832394]
  本稿では, オフラインメタ強化学習(OMRL)問題について検討する。これは, 強化学習(RL)アルゴリズムが未知のタスクに迅速に適応できるようにするパラダイムである。 この問題はまだ完全には理解されていないが、2つの大きな課題に対処する必要がある。 我々は、いくつかの単純な設計選択が、最近のアプローチよりも大幅に改善できることを示す分析と洞察を提供する。
  論文  参考訳（メタデータ） (2020-10-02T17:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。