論文の概要: Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.01719v2
• Date: Thu, 03 Apr 2025 01:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:53:20.126979
• Title: Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning
• Title（参考訳）: 非専門的なデモを超えて:オフライン強化学習のためのアウトカム駆動アクション制約
• Authors: Ke Jiang, Wen Jiang, Yao Li, Xiaoyang Tan,
• Abstract要約: 本稿では,現実的なデータを用いたオフライン強化学習の課題,特に準最適行動ポリシを通じて収集された非専門的データに対処する。 このような状況下では、学習したポリシーは、オフラインデータから悪いデモンストレーションを扱うのに十分な柔軟性を維持しながら、分散シフトを管理するのに十分な安全でなければならない。 本稿では,行動方針の実証的行動分布への依存度を低減し,その悪影響を低減しようとする,アウトカム駆動行動柔軟性(ODAF)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 17.601574372211232
• License:
• Abstract: We address the challenge of offline reinforcement learning using realistic data, specifically non-expert data collected through sub-optimal behavior policies. Under such circumstance, the learned policy must be safe enough to manage distribution shift while maintaining sufficient flexibility to deal with non-expert (bad) demonstrations from offline data.To tackle this issue, we introduce a novel method called Outcome-Driven Action Flexibility (ODAF), which seeks to reduce reliance on the empirical action distribution of the behavior policy, hence reducing the negative impact of those bad demonstrations.To be specific, a new conservative reward mechanism is developed to deal with distribution shift by evaluating actions according to whether their outcomes meet safety requirements - remaining within the state support area, rather than solely depending on the actions' likelihood based on offline data.Besides theoretical justification, we provide empirical evidence on widely used MuJoCo and various maze benchmarks, demonstrating that our ODAF method, implemented using uncertainty quantification techniques, effectively tolerates unseen transitions for improved "trajectory stitching," while enhancing the agent's ability to learn from realistic non-expert data.
• Abstract（参考訳）: 本稿では,現実的なデータを用いたオフライン強化学習の課題,特に準最適行動ポリシを通じて収集された非専門的データに対処する。 このような状況下では、学習した政策は、オフラインデータからの非専門家(悪い)デモに対処するための十分な柔軟性を維持しつつ、分散シフトを管理するのに十分安全でなければならない。この問題に対処するために、我々は、行動ポリシーの実証的行動分布への依存を低減し、悪いデモンストレーションの悪影響を低減させる新しい手法である、アウトカム駆動アクションフレキシビリティ(ODAF)を導入する。

関連論文リスト

• Offline Imitation Learning with Model-based Reverse Augmentation [48.64791438847236]
  本稿では,自己ペースの逆拡張によるオフラインImitation Learningという,新しいモデルベースフレームワークを提案する。 具体的には、オフラインのデモからリバース・ダイナミック・モデルを構築し、専門家が観察した状態につながる軌道を効率的に生成する。 後続の強化学習法を用いて,拡張軌道から学習し,未観測状態から未観測状態へ移行する。
  論文  参考訳（メタデータ） (2024-06-18T12:27:02Z)
• Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
  我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。 我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。 提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
  論文  参考訳（メタデータ） (2024-03-18T14:51:19Z)
• Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation [13.325600043256552]
  そこで本研究では,ヒトが観測不能な反事実軌道のアノテーションを提供する半オフライン評価フレームワークを提案する。 提案手法は,アノテーション・ソリケーションの原則に基づく設計と組み合わせることで,高次の領域における強化学習の活用を可能にする。
  論文  参考訳（メタデータ） (2023-10-26T04:41:19Z)
• Good Better Best: Self-Motivated Imitation Learning for noisy Demonstrations [12.627982138086892]
  イミテーション・ラーニングは,エージェントの行動と専門家による実演の相違を最小限にすることで,政策の発見を目指す。 本稿では,現在の政策に劣る政策によって収集された実演を段階的にフィルタリングする自己モチベーション・イミテーション・ラーニング(SMILE)を提案する。
  論文  参考訳（メタデータ） (2023-10-24T13:09:56Z)
• Discriminator-Guided Model-Based Offline Imitation Learning [11.856949845359853]
  オフライン模倣学習(英: offline mimicion learning, IL)は、報酬ラベルなしで専門家によるデモンストレーションから意思決定問題を解決する強力な手法である。 本稿では,モデルロールアウトデータの動的正当性と準最適性を同時に識別する識別器を導入する,識別器誘導型モデルベースオフライン学習(DMIL)フレームワークを提案する。 実験結果から,DMILとその拡張は,小規模なデータセット下での最先端のオフラインIL法と比較して,優れた性能とロバスト性が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-01T07:28:18Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• The Difficulty of Passive Learning in Deep Reinforcement Learning [26.124032923011328]
  アクティブな環境相互作用のない観測データから行動する学習は、強化学習(RL)の課題としてよく知られている。 最近のアプローチでは、学習したポリシーや保守的な更新に対する制約が伴い、データセットのステートアクション分布からの強い逸脱を防ぐ。 オフライン強化学習における困難を実証的に分析する「タンデム学習」実験パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-10-26T20:50:49Z)
• Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
  オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。 既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。 我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
  論文  参考訳（メタデータ） (2021-05-17T20:16:46Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。