論文の概要: Learning on One Mode: Addressing Multi-Modality in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2412.03258v1
• Date: Wed, 04 Dec 2024 11:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:07:27.813889
• Title: Learning on One Mode: Addressing Multi-Modality in Offline Reinforcement Learning
• Title（参考訳）: 1モードでの学習:オフライン強化学習における多モード対応
• Authors: Mianchu Wang, Yue Jin, Giovanni Montana,
• Abstract要約: オフライン強化学習は、環境と対話することなく、静的データセットから最適なポリシーを学習しようとする。 既存の方法は、しばしば一助的行動ポリシーを仮定し、この仮定が破られたとき、最適以下のパフォーマンスをもたらす。 行動方針の単一かつ有望なモードから学習することに焦点を当てた新しいアプローチであるLOM(Weighted Imitation Learning on One Mode)を提案する。
• 参考スコア（独自算出の注目度）: 9.38848713730931
• License:
• Abstract: Offline reinforcement learning (RL) seeks to learn optimal policies from static datasets without interacting with the environment. A common challenge is handling multi-modal action distributions, where multiple behaviours are represented in the data. Existing methods often assume unimodal behaviour policies, leading to suboptimal performance when this assumption is violated. We propose Weighted Imitation Learning on One Mode (LOM), a novel approach that focuses on learning from a single, promising mode of the behaviour policy. By using a Gaussian mixture model to identify modes and selecting the best mode based on expected returns, LOM avoids the pitfalls of averaging over conflicting actions. Theoretically, we show that LOM improves performance while maintaining simplicity in policy learning. Empirically, LOM outperforms existing methods on standard D4RL benchmarks and demonstrates its effectiveness in complex, multi-modal scenarios.
• Abstract（参考訳）: オフライン強化学習(RL)は、環境と対話することなく、静的データセットから最適なポリシーを学習することを目指している。 一般的な課題は、複数の振る舞いがデータに表現されるマルチモーダルなアクション分散を扱うことだ。 既存の方法は、しばしば一助的行動ポリシーを仮定し、この仮定が破られたとき、最適以下のパフォーマンスをもたらす。 本稿では,行動方針の単一かつ有望なモードから学ぶことに焦点を当てた新しいアプローチであるLOM(Weighted Imitation Learning on One Mode)を提案する。 ガウス混合モデルを用いてモードを特定し、期待したリターンに基づいて最良のモードを選択することで、LOMは競合するアクションに対して平均化する落とし穴を避ける。 理論的には、LOMはポリシー学習の単純さを維持しながら性能を向上させる。 実験的に、LOMは標準D4RLベンチマークの既存のメソッドよりも優れており、複雑なマルチモーダルシナリオにおいてその有効性を示している。

関連論文リスト

• Learning Multimodal Behaviors from Scratch with Diffusion Policy Gradient [26.675822002049372]
  Deep Diffusion Policy Gradient (DDiffPG)は、マルチモーダルポリシーから学習する新しいアクター批判アルゴリズムである。 DDiffPGはマルチモーダルトレーニングバッチを形成し、モード固有のQ-ラーニングを使用して、RL目的の固有の欲求を緩和する。 さらに,本手法では,学習モードを明示的に制御するために,モード固有の埋め込みにポリシーを条件付けることができる。
  論文  参考訳（メタデータ） (2024-06-02T09:32:28Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Information Maximizing Curriculum: A Curriculum-Based Approach for Imitating Diverse Skills [14.685043874797742]
  本稿では,各データポイントに重みを割り当て,表現可能なデータに特化するようにモデルに促すカリキュラムベースのアプローチを提案する。 すべてのモードをカバーし、多様な振る舞いを可能にするため、我々は、各ミックスコンポーネントが学習のためのトレーニングデータの独自のサブセットを選択する、専門家(MoE)ポリシーの混合にアプローチを拡張します。 データセットの完全なカバレッジを実現するために,新たな最大エントロピーに基づく目標を提案する。
  論文  参考訳（メタデータ） (2023-03-27T16:02:50Z)
• Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling [34.88897402357158]
  政策モデルの分布表現性に制限があるため,従来の手法はトレーニング中にも見つからない行動を選択する可能性がある。 我々は,学習方針を表現的生成行動モデルと行動評価モデルという2つの部分に分解して生成的アプローチを採用する。 提案手法は,最先端のオフラインRL法と比較して,競争力や優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-09-29T04:36:23Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。