論文の概要: Offline Reinforcement Learning via Inverse Optimization

• arxiv url: http://arxiv.org/abs/2502.20030v1
• Date: Thu, 27 Feb 2025 12:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:55:36.069995
• Title: Offline Reinforcement Learning via Inverse Optimization
• Title（参考訳）: 逆最適化によるオフライン強化学習
• Authors: Ioannis Dimanidis, Tolga Ok, Peyman Mohajerin Esfahani,
• Abstract要約: 連続状態と行動空間のための新しいオフライン強化学習(ORL)アルゴリズムを提案する。 ORL問題でよく見られる分布変化を緩和するために、我々は頑健で非因果予測制御の専門家を用いる。 既存の文献と異なり、当社の堅牢なMPC専門家は、正確かつトラクタブルな凸修正を楽しみます。
• 参考スコア（独自算出の注目度）: 3.0586855806896054
• License:
• Abstract: Inspired by the recent successes of Inverse Optimization (IO) across various application domains, we propose a novel offline Reinforcement Learning (ORL) algorithm for continuous state and action spaces, leveraging the convex loss function called ``sub-optimality loss" from the IO literature. To mitigate the distribution shift commonly observed in ORL problems, we further employ a robust and non-causal Model Predictive Control (MPC) expert steering a nominal model of the dynamics using in-hindsight information stemming from the model mismatch. Unlike the existing literature, our robust MPC expert enjoys an exact and tractable convex reformulation. In the second part of this study, we show that the IO hypothesis class, trained by the proposed convex loss function, enjoys ample expressiveness and achieves competitive performance comparing with the state-of-the-art (SOTA) methods in the low-data regime of the MuJoCo benchmark while utilizing three orders of magnitude fewer parameters, thereby requiring significantly fewer computational resources. To facilitate the reproducibility of our results, we provide an open-source package implementing the proposed algorithms and the experiments.
• Abstract（参考訳）: 近年のアプリケーション領域における逆最適化 (IO) の成功に触発されて, 連続状態と動作空間に対する新しいオフライン強化学習 (ORL) アルゴリズムを提案し, IO文献からの「準最適損失」と呼ばれる凸損失関数を活用する。 ORL問題でよく見られる分布変化を緩和するために、モデルミスマッチから生じる視内情報を用いて、動的の命名的モデルを操る頑健で非因果的モデル予測制御(MPC)の専門家を用いる。 既存の文献と異なり、当社の堅牢なMPC専門家は、正確かつトラクタブルな凸修正を楽しみます。 本研究の第2部では,提案した凸損失関数によって訓練されたIO仮説クラスが,MuJoCoベンチマークの低データ方式における最先端(SOTA)手法と比較し,計算資源の大幅な削減を図っている。 結果の再現性を高めるため,提案したアルゴリズムと実験を実装したオープンソースパッケージを提供する。

関連論文リスト

• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [10.142949909263846]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
  強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。 本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
  論文  参考訳（メタデータ） (2022-08-23T12:21:01Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。