Fugu-MT 論文翻訳(概要): BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning

論文の概要: BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning

arxiv url: http://arxiv.org/abs/2407.10967v1
Date: Mon, 15 Jul 2024 17:59:23 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 13:51:02.226564
Title: BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning
Title（参考訳）: BECAUSE:汎用オフラインモデルに基づく強化学習のための双線形因果表現
Authors: Haohong Lin, Wenhao Ding, Jian Chen, Laixi Shi, Jiacheng Zhu, Bo Li, Ding Zhao,
Abstract要約: オフラインモデルベース強化学習(MBRL)は、事前コンパイルされたデータセットを使用してモデルとポリシーを学ぶことにより、データ効率を向上させる。本稿は、このミスマッチの主な原因を、オフラインデータに存在する根底にある共同設立者から特定する。両状態の因果表現をキャプチャするアルゴリズムである textbfBilintextbfEar textbfCAUSal rtextbfEpresentation (BECAUSE) を導入する。
参考スコア（独自算出の注目度）: 39.090104460303415
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Offline model-based reinforcement learning (MBRL) enhances data efficiency by utilizing pre-collected datasets to learn models and policies, especially in scenarios where exploration is costly or infeasible. Nevertheless, its performance often suffers from the objective mismatch between model and policy learning, resulting in inferior performance despite accurate model predictions. This paper first identifies the primary source of this mismatch comes from the underlying confounders present in offline data for MBRL. Subsequently, we introduce \textbf{B}ilin\textbf{E}ar \textbf{CAUS}al r\textbf{E}presentation~(BECAUSE), an algorithm to capture causal representation for both states and actions to reduce the influence of the distribution shift, thus mitigating the objective mismatch problem. Comprehensive evaluations on 18 tasks that vary in data quality and environment context demonstrate the superior performance of BECAUSE over existing offline RL algorithms. We show the generalizability and robustness of BECAUSE under fewer samples or larger numbers of confounders. Additionally, we offer theoretical analysis of BECAUSE to prove its error bound and sample efficiency when integrating causal representation into offline MBRL.
Abstract（参考訳）: オフラインモデルベース強化学習(MBRL)は、特に探索にコストがかかる、あるいは不可能なシナリオにおいて、事前コンパイルされたデータセットを使用してモデルとポリシーを学習することにより、データ効率を向上させる。それでも、その性能はモデルと政策学習の客観的なミスマッチに悩まされ、正確なモデル予測にもかかわらず性能が劣る。本稿では、まず、MBRLのオフラインデータに存在する基礎となる共同設立者から、このミスマッチの主な原因を特定する。次に、分布シフトの影響を低減し、目的ミスマッチ問題を緩和するために、状態と動作の両方の因果表現をキャプチャするアルゴリズムである \textbf{B}ilin\textbf{E}ar \textbf{CAUS}al r\textbf{E}presentation~(BECAUSE)を紹介する。データ品質と環境コンテキストの異なる18のタスクに対する総合的な評価は、既存のオフラインRLアルゴリズムよりもBECAUSEの方が優れた性能を示している。 BECAUSEの汎用性とロバスト性について,より少ないサンプルあるいは多数の共同設立者の下で示す。さらに, BECAUSEの理論解析により, 因果表現をオフラインMBRLに統合する際の誤差境界とサンプル効率の検証を行う。

関連論文リスト

SeMOPO: Learning High-quality Model and Policy from Low-quality Offline Visual Datasets [32.496818080222646]
モデルに基づくオフライン強化学習のための新しい手法を提案する。モデルの不確かさとSeMOPOの性能バウンダリに関する理論的保証を提供する。実験結果から,本手法はベースライン法を著しく上回ることがわかった。
論文参考訳（メタデータ） (2024-06-13T15:16:38Z)
Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
論文参考訳（メタデータ） (2024-03-19T18:57:53Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
DOMAIN: MilDly COnservative Model-BAsed OfflINe Reinforcement Learning [15.121328040092267]
保守主義は、正確なオフラインデータと不正確なモデルデータのバランスをとるために、アルゴリズムに組み込まれるべきです。本稿では、モデル不確実性を推定することなく、milDly cOnservative Model-bAsed offlINe RLアルゴリズム(DOMAIN)を提案する。大規模な実験の結果、DOMAINはD4RLデータセットのベンチマークにおいて、以前のRLアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2023-09-16T08:39:28Z)
Linear Regression with Distributed Learning: A Generalization Error Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文参考訳（メタデータ） (2021-01-22T08:43:28Z)
Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
論文参考訳（メタデータ） (2020-10-19T14:19:42Z)
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-22T14:49:33Z)
How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文参考訳（メタデータ） (2020-05-25T12:13:49Z)
Decomposed Adversarial Learned Inference [118.27187231452852]
我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
論文参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。