論文の概要: Episodic Self-Imitation Learning with Hindsight

• arxiv url: http://arxiv.org/abs/2011.13467v1
• Date: Thu, 26 Nov 2020 20:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 12:06:11.084381
• Title: Episodic Self-Imitation Learning with Hindsight
• Title（参考訳）: 近視によるエピソディック自己模倣学習
• Authors: Tianhong Dai, Hengyan Liu, Anil Anthony Bharath
• Abstract要約: エピソード自己像学習は、軌道選択モジュールと適応的損失関数を備えた新しい自己像アルゴリズムである。 更新の各エピソードから不正なサンプルをフィルタリングするために選択モジュールが導入された。 エピソード自己イメージ学習は、連続的な行動空間を持つ実世界の問題に適用できる可能性がある。
• 参考スコア（独自算出の注目度）: 7.743320290728377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Episodic self-imitation learning, a novel self-imitation algorithm with a trajectory selection module and an adaptive loss function, is proposed to speed up reinforcement learning. Compared to the original self-imitation learning algorithm, which samples good state-action pairs from the experience replay buffer, our agent leverages entire episodes with hindsight to aid self-imitation learning. A selection module is introduced to filter uninformative samples from each episode of the update. The proposed method overcomes the limitations of the standard self-imitation learning algorithm, a transitions-based method which performs poorly in handling continuous control environments with sparse rewards. From the experiments, episodic self-imitation learning is shown to perform better than baseline on-policy algorithms, achieving comparable performance to state-of-the-art off-policy algorithms in several simulated robot control tasks. The trajectory selection module is shown to prevent the agent learning undesirable hindsight experiences. With the capability of solving sparse reward problems in continuous control settings, episodic self-imitation learning has the potential to be applied to real-world problems that have continuous action spaces, such as robot guidance and manipulation.
• Abstract（参考訳）: 軌道選択モジュールと適応損失関数を備えた新しい自己模倣アルゴリズムであるエピソディック自己模倣学習を提案し,強化学習を高速化する。 経験リプレイバッファから良好な状態-動作ペアをサンプリングしたオリジナルの自己模倣学習アルゴリズムと比較して,エージェントは全エピソードを後見して自己模倣学習を支援する。 更新の各エピソードから不正なサンプルをフィルタリングするために選択モジュールが導入される。 提案手法は,スパース報酬を伴う連続制御環境の処理に不利なトランジッションベース手法である,標準的な自己イメージ学習アルゴリズムの限界を克服する。 実験から,実証的自己想像学習は,複数のロボット制御タスクにおいて,最先端のオフポリシーアルゴリズムに匹敵する性能を達成し,ベースラインのオンポリシーアルゴリズムよりも優れた性能を発揮することが示された。 軌道選択モジュールは、エージェントが望ましくない後見体験を学習することを防止する。 連続的な制御設定においてスパース報酬問題を解く能力により、ロボットの誘導や操作のような連続的な行動空間を持つ現実的な問題に適用できる可能性がある。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• A Dual Approach to Imitation Learning from Observations with Offline Datasets [19.856363985916644]
  報酬関数の設計が困難な環境では、エージェントを学習するためのタスク仕様の効果的な代替手段である。 専門家の行動を必要とせずに任意の準最適データを利用してポリシーを模倣するアルゴリズムであるDILOを導出する。
  論文  参考訳（メタデータ） (2024-06-13T04:39:42Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• Contrastive Distillation Is a Sample-Efficient Self-Supervised Loss Policy for Transfer Learning [20.76863234714442]
  本研究では,高い相互情報を持つ潜伏変数を示すコントラスト蒸留と呼ばれる自己監督的損失ポリシーを提案する。 本稿では,この手法が伝達学習の一般的な手法より優れていることを示すとともに,オンライン転送の計算処理をトレードオフする有用な設計軸を提案する。
  論文  参考訳（メタデータ） (2022-12-21T20:43:46Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Action-Conditioned Contrastive Policy Pretraining [39.13710045468429]
  深層運動のポリシー学習は、ロボット操作や自律運転などの制御タスクにおいて有望な結果を達成する。 トレーニング環境との膨大な数のオンラインインタラクションが必要です。 本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。
  論文  参考訳（メタデータ） (2022-04-05T17:58:22Z)
• Hyperparameter Auto-tuning in Self-Supervised Robotic Learning [12.193817049957733]
  不十分な学習(局所最適収束による)は、冗長な学習が時間と資源を浪費する一方で、低パフォーマンスの政策をもたらす。 自己教師付き強化学習のためのエビデンス下界(ELBO)に基づく自動チューニング手法を提案する。 本手法は,オンラインで自動チューニングが可能であり,計算資源のごく一部で最高の性能が得られる。
  論文  参考訳（メタデータ） (2020-10-16T08:58:24Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。