論文の概要: Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2307.04726v4
• Date: Fri, 06 Jun 2025 11:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.56094
• Title: Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習におけるアウト・オブ・ディストリビューション一般化のための拡散政策
• Authors: Suzan Ece Ada, Erhan Oztop, Emre Ugur,
• Abstract要約: 近年の拡散政策における状態再構成特徴学習を取り入れた新しい手法を提案する。 本手法は,OOD状態による分散シフトを軽減するために,一般化可能な状態表現の学習を促進する。
• 参考スコア（独自算出の注目度）: 1.7205106391379026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline Reinforcement Learning (RL) methods leverage previous experiences to learn better policies than the behavior policy used for data collection. However, they face challenges handling distribution shifts due to the lack of online interaction during training. To this end, we propose a novel method named State Reconstruction for Diffusion Policies (SRDP) that incorporates state reconstruction feature learning in the recent class of diffusion policies to address the problem of out-of-distribution (OOD) generalization. Our method promotes learning of generalizable state representation to alleviate the distribution shift caused by OOD states. To illustrate the OOD generalization and faster convergence of SRDP, we design a novel 2D Multimodal Contextual Bandit environment and realize it on a 6-DoF real-world UR10 robot, as well as in simulation, and compare its performance with prior algorithms. In particular, we show the importance of the proposed state reconstruction via ablation studies. In addition, we assess the performance of our model on standard continuous control benchmarks (D4RL), namely the navigation of an 8-DoF ant and forward locomotion of half-cheetah, hopper, and walker2d, achieving state-of-the-art results. Finally, we demonstrate that our method can achieve 167% improvement over the competing baseline on a sparse continuous control navigation task where various regions of the state space are removed from the offline RL dataset, including the region encapsulating the goal.
• Abstract（参考訳）: オフライン強化学習(RL)手法は、過去の経験を活用して、データ収集に使用される行動ポリシーよりも優れたポリシーを学習する。 しかし、トレーニング中にオンラインインタラクションが欠如しているため、分散シフトを扱うことの難しさに直面している。 そこで本研究では,近年の拡散政策のクラスにおいて,状態再構成機能学習を取り入れたSRDP(State Restruction for Diffusion Policies)という手法を提案し,アウト・オブ・ディストリビューション(OOD)の一般化問題に対処する。 本手法は,OOD状態による分散シフトを軽減するために,一般化可能な状態表現の学習を促進する。 OODの一般化とSRDPの収束の高速化を図示するため、我々は新しい2次元マルチモーダルコンテキスト帯域環境を設計し、6-DoF実世界のUR10ロボットで実現し、シミュレーションにおいてその性能を従来のアルゴリズムと比較した。 特に,アブレーション研究による国家再建の重要性を示す。 さらに, 標準連続制御ベンチマーク(D4RL)において, 8-DoFアリのナビゲーションと半チーター, ホッパー, ウォーカー2dの前方移動を行い, 最先端の結果を得る。 最後に、本手法は、目標をカプセル化した領域を含む、状態空間の様々な領域をオフラインRLデータセットから除去するスパース連続制御ナビゲーションタスクにおいて、競合するベースラインよりも167%改善できることを示す。

関連論文リスト

• Policy Regularization on Globally Accessible States in Cross-Dynamics Reinforcement Learning [53.9544543607396]
  我々は、報酬レンダリングとImitation from Observation (IfO)を統合した新しいフレームワークを提案する。 異なる方法でF距離をインスタンス化することにより、2つの理論的解析を導き、アクセシブルステート指向ポリシー規則化(ASOR)と呼ばれる実用的なアルゴリズムを開発する。 ASOR は、オフライン RL やオフライン RL など、様々なアプローチ RL に組み込まれる一般的なアドオンモジュールとして機能する。
  論文  参考訳（メタデータ） (2025-03-10T03:50:20Z)
• DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning [22.323173093804897]
  オフライン強化学習は、環境と対話することなく、事前にコンパイルされたオフラインデータセットから最適なポリシーを学ぶことができる。 最近の研究はGAN(Generative Adversarial Network)を用いてこの問題に対処している。 拡散にインスパイアされたDiffusion Policies with Generative Adversarial Networks (DiffPoGAN) という新しいオフラインRL手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T13:15:40Z)
• CDSA: Conservative Denoising Score-based Algorithm for Offline Reinforcement Learning [25.071018803326254]
  オフラインの強化学習において、分散シフトは大きな障害である。 以前の保守的なオフラインRLアルゴリズムは、目に見えないアクションに一般化するのに苦労した。 本稿では、事前学習したオフラインRLアルゴリズムから生成されたデータセット密度の勾配場を用いて、元の動作を調整することを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:59:29Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  本稿では,自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。 これらの課題に対処するため、我々は自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• State-Constrained Offline Reinforcement Learning [9.38848713730931]
  我々は、データセットの状態分布にのみ焦点をあてた新しいフレームワークである、状態制約付きオフラインRLを紹介した。 また、D4RLベンチマークデータセット上で最先端のパフォーマンスを実現するディープラーニングアルゴリズムであるStaCQについても紹介する。
  論文  参考訳（メタデータ） (2024-05-23T09:50:04Z)
• Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
  オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。 オフラインRLの主な課題の1つは、分散シフトである。 分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-27T19:19:30Z)
• Variational Latent Branching Model for Off-Policy Evaluation [23.073461349048834]
  マルコフ決定過程(MDP)の遷移関数を学習するための変動潜在分岐モデル(VLBM)を提案する。 ランダムなモデル重みに対するモデルの堅牢性を改善するために分岐アーキテクチャを導入する。 VLBM は既存の OPE 手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2023-01-28T02:20:03Z)
• Model-based trajectory stitching for improved behavioural cloning and its applications [7.462336024223669]
  トラジェクティブ・スティッチング(TS)は、元のデータで切断された状態のペアを縫い合わせることで、新しいトラジェクトリを生成する。 古い軌道を新しい軌道に置き換える反復的プロセスが、基礎となる行動方針を漸進的に改善することを示した。
  論文  参考訳（メタデータ） (2022-12-08T14:18:04Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• A Policy-Guided Imitation Approach for Offline Reinforcement Learning [9.195775740684248]
  政策誘導型オフラインRL(textttPOR)を紹介する。 textttPORは、オフラインRLの標準ベンチマークであるD4RLで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-10-15T15:54:28Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Backward Imitation and Forward Reinforcement Learning via Bi-directional Model Rollouts [11.4219428942199]
  従来のモデルベース強化学習(RL)手法は、学習力学モデルを用いて前方ロールアウトトレースを生成する。 本稿では,後方模倣とフォワード強化学習(BIFRL)フレームワークを提案する。 BIFRLは、より効率的な方法で高価値状態に到達し、探索するエージェントに権限を与える。
  論文  参考訳（メタデータ） (2022-08-04T04:04:05Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning [62.19209005400561]
  オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。 オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。 政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
  論文  参考訳（メタデータ） (2022-06-14T20:56:16Z)
• RORL: Robust Offline Reinforcement Learning via Conservative Smoothing [72.8062448549897]
  オフライン強化学習は、複雑な意思決定タスクに大量のオフラインデータを活用できる。 現在のオフラインRLアルゴリズムは一般に、値推定とアクション選択のために保守的に設計されている。 本稿では,ロバストオフライン強化学習(RORL)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T18:07:41Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。