論文の概要: DPO: A Differential and Pointwise Control Approach to Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2404.15617v3
• Date: Wed, 21 May 2025 03:15:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 18:05:36.002142
• Title: DPO: A Differential and Pointwise Control Approach to Reinforcement Learning
• Title（参考訳）: DPO:強化学習のための差分制御アプローチ
• Authors: Minh Nguyen, Chandrajit Bajaj,
• Abstract要約: 連続状態行動空間における強化学習(RL)は、科学計算において依然として困難である。 本稿では,連続時間制御の観点からRLを再構成する新しいフレームワークである差分強化学習(Differential RL)を紹介する。 我々は,局所運動演算子を洗練させる段階的アルゴリズムである微分ポリシー最適化(DPO)を開発した。
• 参考スコア（独自算出の注目度）: 3.2857981869020327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) in continuous state-action spaces remains challenging in scientific computing due to poor sample efficiency and lack of pathwise physical consistency. We introduce Differential Reinforcement Learning (Differential RL), a novel framework that reformulates RL from a continuous-time control perspective via a differential dual formulation. This induces a Hamiltonian structure that embeds physics priors and ensures consistent trajectories without requiring explicit constraints. To implement Differential RL, we develop Differential Policy Optimization (DPO), a pointwise, stage-wise algorithm that refines local movement operators along the trajectory for improved sample efficiency and dynamic alignment. We establish pointwise convergence guarantees, a property not available in standard RL, and derive a competitive theoretical regret bound of $O(K^{5/6})$. Empirically, DPO outperforms standard RL baselines on representative scientific computing tasks, including surface modeling, grid control, and molecular dynamics, under low-data and physics-constrained conditions.
• Abstract（参考訳）: 連続的な状態-作用空間における強化学習(RL)は、サンプル効率の低さと経路的に物理的整合性の欠如により、科学計算において依然として困難である。 差分強化学習(differential Reinforcement Learning, 差分RL)は, 連続時間制御の観点からRLを微分双対定式化(differential dual formulation)により再構成する新しいフレームワークである。 これによりハミルトニアン構造が導き出され、物理の先行を埋め込んで、明示的な制約を伴わずに一貫した軌道を確保できる。 差分ポリシー最適化(DPO)は,軌道に沿った局所運動演算子を改良し,サンプル効率と動的アライメントを改善する。 我々は、標準 RL で利用できない性質である点収束保証を確立し、$O(K^{5/6})$の競合理論的後悔境界を導出する。 経験的に、DPOは、低データおよび物理制約条件下で、表面モデリング、グリッド制御、分子動力学を含む代表的な科学計算タスクの標準RLベースラインより優れている。

関連論文リスト

• Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization [22.67700436936984]
  ステップレベルのオフライン強化学習アルゴリズムであるDAPO(Direct Advantage Policy Optimization)を導入する。 DAPOは、各ステップにおける推論精度を予測するために批判機能を使用し、それによって高密度信号を生成して生成戦略を洗練させる。 その結果,DAPO は SFT モデルと RL モデルの両方の数学的・コード的能力を効果的に向上し,DAPO の有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-12-24T08:39:35Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference [15.038210624870656]
  リワード推論は、ヒューマンフィードバックパイプラインからの強化学習における重要な中間ステップである。 本稿では,帯域幅を超える一般RL問題と決定論的MDP帯域幅,Bradley-Terryモデルを超える一般選好モデルについて,報酬推論のない2つのRLHFアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-09-25T22:20:11Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [7.83845308102632]
  LOPE: Learning Online with trajectory Preference guidancE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能に関して、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Surpassing legacy approaches to PWR core reload optimization with single-objective Reinforcement learning [0.0]
  単目的および多目的の最適化のための深層強化学習(DRL)に基づく手法を開発した。 本稿では、PPO(Proximal Policy Optimization)を用いて、RLに基づくアプローチの利点を実証する。 PPOは学習可能なウェイトを持つポリシーで検索機能を適応し、グローバル検索とローカル検索の両方として機能する。
  論文  参考訳（メタデータ） (2024-02-16T19:35:58Z)
• Adaptive Primal-Dual Method for Safe Reinforcement Learning [9.5147410074115]
  安全強化学習(SRL)のための適応的原始双対法(APD)を提案し,解析し,評価する。 2つの適応LRをラグランジアン乗算器に調整し、各イテレーションにおけるポリシーを最適化する。 実験により、実用的なAPDアルゴリズムは、一定のLRの場合よりも、より安定したトレーニングを達成する(または同等の性能を達成する)ことが示されている。
  論文  参考訳（メタデータ） (2024-02-01T05:53:44Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes [35.889129338603446]
  ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。 彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。 メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
  論文  参考訳（メタデータ） (2023-06-13T12:58:12Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• A Policy Efficient Reduction Approach to Convex Constrained Deep Reinforcement Learning [2.811714058940267]
  本稿では,最小基準点法(MNP)を一般化した条件勾配型アルゴリズムを提案する。 提案手法は,メモリコストを桁違いに削減し,その性能と効率を両立させる。
  論文  参考訳（メタデータ） (2021-08-29T20:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。