論文の概要: Complex Robotic Manipulation via Graph-Based Hindsight Goal Generation

• arxiv url: http://arxiv.org/abs/2007.13486v1
• Date: Mon, 27 Jul 2020 12:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 11:38:50.370604
• Title: Complex Robotic Manipulation via Graph-Based Hindsight Goal Generation
• Title（参考訳）: グラフベース直視ゴール生成による複雑なロボットマニピュレーション
• Authors: Zhenshan Bing and Matthias Brucker and Fabrice O. Morin and Kai Huang and Alois Knoll
• Abstract要約: 強化学習アルゴリズムは、スパース報酬で難しいロボット操作タスクを解くことができる。 本稿では,障害物回避グラフにおける最短距離に基づいて,HGGを拡張したグラフベース近視目標生成(G-HGG)を提案する。
• 参考スコア（独自算出の注目度）: 9.175701873762426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning algorithms such as hindsight experience replay (HER) and hindsight goal generation (HGG) have been able to solve challenging robotic manipulation tasks in multi-goal settings with sparse rewards. HER achieves its training success through hindsight replays of past experience with heuristic goals, but under-performs in challenging tasks in which goals are difficult to explore. HGG enhances HER by selecting intermediate goals that are easy to achieve in the short term and promising to lead to target goals in the long term. This guided exploration makes HGG applicable to tasks in which target goals are far away from the object's initial position. However, HGG is not applicable to manipulation tasks with obstacles because the euclidean metric used for HGG is not an accurate distance metric in such environments. In this paper, we propose graph-based hindsight goal generation (G-HGG), an extension of HGG selecting hindsight goals based on shortest distances in an obstacle-avoiding graph, which is a discrete representation of the environment. We evaluated G-HGG on four challenging manipulation tasks with obstacles, where significant enhancements in both sample efficiency and overall success rate are shown over HGG and HER. Videos can be viewed at https://sites.google.com/view/demos-g-hgg/.
• Abstract（参考訳）: hindsight experience replay(her)やhindsight goal generation(hgg)といった強化学習アルゴリズムは、少ない報酬でマルチゴール設定でのロボット操作の課題を解決することができた。 HERは、過去の経験をヒューリスティックな目標で後からリプレイすることで、トレーニングの成功を達成するが、目標の探索が難しい課題では不十分である。 HGGは短期的には達成し易い中間目標を選択し、長期的に目標を達成することを約束することでHERを強化する。 このガイド付き探索によってhggは、目標目標がオブジェクトの初期位置から遠く離れているタスクに適用できる。 しかし、hggに使用されるユークリッド計量は、そのような環境では正確な距離計量ではないため、障害のある操作タスクには適用できない。 本稿では,環境の離散表現である障害物回避グラフにおいて,最短距離に基づく後進目標選択hggの拡張であるg-hgg(graph-based hindsight goal generation)を提案する。 G-HGGを障害のある4つの課題に対して評価し,HGGとHERに対して,サンプル効率と総合的な成功率の両方に大きな改善が見られた。 ビデオはhttps://sites.google.com/view/demos-g-hgg/で見ることができる。

関連論文リスト

• HiKER-SGG: Hierarchical Knowledge Enhanced Robust Scene Graph Generation [13.929906773382752]
  視覚データに対する推論を可能にする一般的なアプローチとして、Scene Graph Generation (SGG)がある。 そこで本稿では,視覚ゲノムデータセット上でのプロシージャ的に生成された気象汚染やその他の変換を含む新しいSGGベンチマークを提案する。 また,HKER-SGGは劣化した画像に対してゼロショット方式で優れた性能を示すだけでなく,非破壊なSGGタスクにおける最先端の手法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-03-18T17:59:10Z)
• Balancing Exploration and Exploitation in Hierarchical Reinforcement Learning via Latent Landmark Graphs [31.147969569517286]
  ゴール・コンディションド・階層的強化学習(GCHRL)は、強化学習における探索・探索ジレンマに対処するための有望なパラダイムである。 GCHRLの有効性は、サブゴール表現関数とサブゴール選択戦略に大きく依存している。 本稿では,潜在ランドマークグラフの動的構築による階層的強化学習を提案する。
  論文  参考訳（メタデータ） (2023-07-22T12:10:23Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Scaling Goal-based Exploration via Pruning Proto-goals [10.976262029859424]
  強化学習における最も厄介な課題の1つは、広大な領域に拡大する探索である。 ゴール指向で目的を持った行動は、これを克服できるが、良いゴールスペースに依存している。 提案手法は,人間設計者が広いが有意義な原ゴール空間を指定できるように,中間領域を明示的に求めている。
  論文  参考訳（メタデータ） (2023-02-09T15:22:09Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning [6.540225358657128]
  強化学習(Reinforcement Learning, RL)は、複雑な環境でスパース・リワード・ロングホライゾン・タスクを達成するのにしばしば苦労する。 ゴール条件強化学習(GCRL)は,手軽なサブゴールのカリキュラムを通じて,この問題に対処するために用いられている。 GCRLでは、エージェントが最終的に望ましいゴールへの経路を見つけるためには、新しいサブゴールの探索が不可欠である。
  論文  参考訳（メタデータ） (2022-10-28T11:11:04Z)
• Stein Variational Goal Generation for adaptive Exploration in Multi-Goal Reinforcement Learning [18.62133925594957]
  マルチゴール強化学習では、エージェントは関連するトレーニングタスク間で経験を共有することができ、テスト時により一般化される。 本研究は,エージェントの中間的難易度を目標とするStein Variational Goal Generation (SVGG)を提案する。 目標の分布は、スタイン変分勾配Descentを用いて適切な困難領域に惹きつけられる粒子でモデル化される。
  論文  参考訳（メタデータ） (2022-06-14T10:03:17Z)
• Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning [64.97599673479678]
  ランドマークによる階層的強化学習(HIGL)について紹介する。 HIGLは、ランドマークでガイドされたアクションスペースを削減した、ハイレベルなポリシーをトレーニングするための新しいフレームワークである。 我々の実験は、我々のフレームワークが様々な制御タスクで先行技術より優れていることを示した。
  論文  参考訳（メタデータ） (2021-10-26T12:16:19Z)
• C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks [133.40619754674066]
  ゴール条件強化学習は、ナビゲーションや操作を含む幅広い領域のタスクを解決できる。 本研究では,学習時間における探索を用いて,中間状態を自動生成する遠隔目標獲得タスクを提案する。 E-stepはグラフ検索を用いて最適な経路点列を計画することに対応し、M-stepはそれらの経路点に到達するための目標条件付きポリシーを学習することを目的としている。
  論文  参考訳（メタデータ） (2021-10-22T22:05:31Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Unbiased Scene Graph Generation from Biased Training [99.88125954889937]
  因果推論に基づく新しいSGGフレームワークを提案するが、従来の可能性ではない。 トレーニングされたグラフから反ファクト因果関係を抽出し、悪バイアスから影響を推測する。 特に,無バイアスSGGに対する最終述語スコアとしてTotal Direct Effect(TDE)を用いる。
  論文  参考訳（メタデータ） (2020-02-27T07:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。