Fugu-MT 論文翻訳(概要): Offline Reinforcement Learning with Discrete Diffusion Skills

論文の概要: Offline Reinforcement Learning with Discrete Diffusion Skills

arxiv url: http://arxiv.org/abs/2503.20176v1
Date: Wed, 26 Mar 2025 03:04:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-27 13:21:20.054914
Title: Offline Reinforcement Learning with Discrete Diffusion Skills
Title（参考訳）: 離散拡散スキルを用いたオフライン強化学習
Authors: RuiXi Qiao, Jie Cheng, Xingyuan Dai, Yonglin Tian, Yisheng Lv,
Abstract要約: 複雑な長期的タスクに取り組むための時間的抽象化として、オフライン強化学習(RL)にスキルが導入された。オフラインのRLのスキルは、主に連続的な潜伏空間内でモデル化されているが、離散的なスキル空間の可能性はほとんど探索されていない。本稿では、最先端のトランスフォーマーベースのエンコーダと拡散型デコーダによってサポートされたオフラインRLタスクのためのコンパクトな離散スキル空間を提案する。
参考スコア（独自算出の注目度）: 13.983510604527574
License:
Abstract: Skills have been introduced to offline reinforcement learning (RL) as temporal abstractions to tackle complex, long-horizon tasks, promoting consistent behavior and enabling meaningful exploration. While skills in offline RL are predominantly modeled within a continuous latent space, the potential of discrete skill spaces remains largely underexplored. In this paper, we propose a compact discrete skill space for offline RL tasks supported by state-of-the-art transformer-based encoder and diffusion-based decoder. Coupled with a high-level policy trained via offline RL techniques, our method establishes a hierarchical RL framework where the trained diffusion decoder plays a pivotal role. Empirical evaluations show that the proposed algorithm, Discrete Diffusion Skill (DDS), is a powerful offline RL method. DDS performs competitively on Locomotion and Kitchen tasks and excels on long-horizon tasks, achieving at least a 12 percent improvement on AntMaze-v2 benchmarks compared to existing offline RL approaches. Furthermore, DDS offers improved interpretability, training stability, and online exploration compared to previous skill-based methods.
Abstract（参考訳）: オフライン強化学習(RL)には、複雑で長期にわたるタスクに対処し、一貫した振る舞いを促進し、意味のある探索を可能にするための時間的抽象化としてスキルが導入されている。オフラインRLのスキルは、主に連続的な潜伏空間内でモデル化されているが、離散的なスキル空間の可能性はほとんど探索されていない。本稿では,最先端のトランスフォーマーベースエンコーダと拡散型デコーダがサポートしているオフラインRLタスクに対して,コンパクトな離散スキル空間を提案する。オフラインのRL技術を用いて訓練された高レベルポリシーと組み合わせて、トレーニングされた拡散デコーダが重要な役割を果たす階層的なRLフレームワークを確立する。実験により,提案アルゴリズムである離散拡散スキル (DDS) がオフラインの強力なRL法であることを示す。 DDS は Locomotion と Kitchen のタスクで競争力があり、また長い水平タスクでは優れており、既存のオフライン RL のアプローチと比較して、AntMaze-v2 ベンチマークでは少なくとも12%改善されている。さらに、DDSは従来のスキルベースの手法と比較して、解釈可能性、トレーニング安定性、オンライン探索が改善されている。

関連論文リスト

Diffusion-Based Offline RL for Improved Decision-Making in Augmented ARC Task [10.046325073900297]
SOLAR(Abstraction and Reasoning)のための拡張オフラインRLデータセットを提案する。 SOLARは、十分な経験データを提供することで、オフラインのRLメソッドの適用を可能にする。本実験は, 簡単なARCタスクにおけるオフラインRL手法の有効性を実証する。
論文参考訳（メタデータ） (2024-10-15T06:48:27Z)
Unsupervised-to-Online Reinforcement Learning [59.910638327123394]
Unsupervised-to-online RL (U2O RL) は、ドメイン固有の教師なしオフラインRLを非教師なしオフラインRLに置き換える。 U2O RLは、複数の下流タスクのために訓練済みのモデルを再利用できるだけでなく、より良い表現も学べる。 U2O RLは、従来のオフライン-オフラインのRLアプローチにマッチしたり、さらに性能が優れていることを実証的に実証する。
論文参考訳（メタデータ） (2024-08-27T05:23:45Z)
D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
論文参考訳（メタデータ） (2024-08-15T22:27:00Z)
ATraDiff: Accelerating Online Reinforcement Learning with Imaginary Trajectories [27.5648276335047]
報酬の少ない自律エージェントの訓練は、オンライン強化学習(RL)における長年の問題である本稿では、オフラインデータを利用した適応軌道微分器(ATraDiff)と呼ばれる生成拡散モデル学習手法を提案する。 ATraDiffは、様々な環境における最先端のパフォーマンスを一貫して達成しており、特に複雑な設定の改善が顕著である。
論文参考訳（メタデータ） (2024-06-06T17:58:15Z)
DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching [21.263554926053178]
オフライン強化学習(RL)では、学習ポリシーのパフォーマンスはオフラインデータセットの品質に大きく依存する。本稿では拡散に基づく新しいデータ拡張パイプラインであるDiffStitchについて紹介する。 DiffStitchは、ローリワード軌道と高リワード軌道を効果的に接続し、オフラインRLアルゴリズムが直面する課題に対処するために、グローバルに最適な軌道を形成する。
論文参考訳（メタデータ） (2024-02-04T10:30:23Z)
Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。 Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
論文参考訳（メタデータ） (2024-01-16T16:28:32Z)
Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。オフラインRLの主な課題の1つは、分散シフトである。分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-27T19:19:30Z)
Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network [19.152875040151976]
この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。 DT加速DRLは、直接訓練された最先端Q-ラーニングモデルと比較して、リソース利用率を40%以上向上させる。
論文参考訳（メタデータ） (2023-10-07T09:09:19Z)
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-06-12T05:10:10Z)
Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
論文参考訳（メタデータ） (2023-05-31T17:55:21Z)
Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
論文参考訳（メタデータ） (2020-12-21T18:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。