論文の概要: Contrastive Example-Based Control

• arxiv url: http://arxiv.org/abs/2307.13101v1
• Date: Mon, 24 Jul 2023 19:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 19:03:03.520556
• Title: Contrastive Example-Based Control
• Title（参考訳）: 比較例に基づく制御
• Authors: Kyle Hatch, Benjamin Eysenbach, Rafael Rafailov, Tianhe Yu, Ruslan Salakhutdinov, Sergey Levine, Chelsea Finn
• Abstract要約: 報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。 状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 163.6482792040079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While many real-world problems that might benefit from reinforcement learning, these problems rarely fit into the MDP mold: interacting with the environment is often expensive and specifying reward functions is challenging. Motivated by these challenges, prior work has developed data-driven approaches that learn entirely from samples from the transition dynamics and examples of high-return states. These methods typically learn a reward function from high-return states, use that reward function to label the transitions, and then apply an offline RL algorithm to these transitions. While these methods can achieve good results on many tasks, they can be complex, often requiring regularization and temporal difference updates. In this paper, we propose a method for offline, example-based control that learns an implicit model of multi-step transitions, rather than a reward function. We show that this implicit model can represent the Q-values for the example-based control problem. Across a range of state-based and image-based offline control tasks, our method outperforms baselines that use learned reward functions; additional experiments demonstrate improved robustness and scaling with dataset size.
• Abstract（参考訳）: 強化学習の恩恵を受ける現実の問題は数多くあるが、これらの問題はMDPの型に当てはまることは稀であり、環境との相互作用は高価であり、報酬関数の指定は困難である。 これらの課題に動機付けられた先行研究は、遷移ダイナミクスと高回帰状態の例から完全なサンプルから学ぶデータ駆動アプローチを開発した。 これらの手法は通常、高リターン状態から報酬関数を学習し、その報酬関数を使って遷移をラベル付けし、オフラインrlアルゴリズムを遷移に適用する。 これらの手法は多くのタスクで良い結果が得られるが、それらは複雑になり、しばしば正規化と時間的差異の更新を必要とする。 本稿では,報酬関数ではなく,多段階遷移の暗黙的モデルを学ぶ,オフラインのサンプルベース制御手法を提案する。 この暗黙的モデルは実例に基づく制御問題のQ値を表すことができる。 さまざまな状態ベースおよび画像ベースのオフライン制御タスクにおいて,本手法は学習報酬関数を使用するベースラインよりも優れており,さらなる実験によってロバスト性が向上し,データセットサイズでのスケーリングが実証されている。

関連論文リスト

• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Model-Based Reinforcement Learning Control of Reaction-Diffusion Problems [0.0]
  強化学習はいくつかのアプリケーション、特にゲームにおいて意思決定に応用されている。 輸送されたフィールドの流れを駆動する2つの新しい報酬関数を導入する。 その結果、これらのアプリケーションで特定の制御をうまく実装できることが判明した。
  論文  参考訳（メタデータ） (2024-02-22T11:06:07Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Self-Supervised Reinforcement Learning that Transfers using Random Features [41.00256493388967]
  本研究では,タスク間の行動の伝達を,報酬の異なる自己指導型強化学習手法を提案する。 我々の手法は、報奨ラベルなしでオフラインデータセットでトレーニングできるが、新しいタスクに素早くデプロイできるという自己教師型である。
  論文  参考訳（メタデータ） (2023-05-26T20:37:06Z)
• Q-Pensieve: Boosting Sample Efficiency of Multi-Objective RL Through Memory Sharing of Q-Snapshots [11.533449955841968]
  そこで我々は,Q-Pensieveを提案する。Q-Pensieveは,Q-Snapshotのコレクションを格納し,ポリシー更新の方向性を共同で決定する政策改善スキームである。 本稿では,Q-Pensieveが収束保証付きソフトポリシー反復と自然に統合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-06T16:29:47Z)
• IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
  少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。 行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。 本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
  論文  参考訳（メタデータ） (2021-06-23T03:43:10Z)
• Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp [119.69304125647785]
  本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。 具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。 また, 建設過程を自動案内する判別器を開発した。
  論文  参考訳（メタデータ） (2020-11-30T01:20:23Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。