論文の概要: Learning Vision-Guided Quadrupedal Locomotion End-to-End with Cross-Modal Transformers

• arxiv url: http://arxiv.org/abs/2107.03996v1
• Date: Thu, 8 Jul 2021 17:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-09 14:42:12.803775
• Title: Learning Vision-Guided Quadrupedal Locomotion End-to-End with Cross-Modal Transformers
• Title（参考訳）: クロスモーダルトランスフォーマーを用いた学習視覚誘導四足歩行終端運動
• Authors: Ruihan Yang, Minghao Zhang, Nicklas Hansen, Huazhe Xu, Xiaolong Wang
• Abstract要約: 強化学習(RL)を用いた四足歩行課題への取り組みを提案する。 四足歩行のためのエンドツーエンドRL法であるLocoTransformerを導入する。
• 参考スコア（独自算出の注目度）: 14.509254362627576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose to address quadrupedal locomotion tasks using Reinforcement Learning (RL) with a Transformer-based model that learns to combine proprioceptive information and high-dimensional depth sensor inputs. While learning-based locomotion has made great advances using RL, most methods still rely on domain randomization for training blind agents that generalize to challenging terrains. Our key insight is that proprioceptive states only offer contact measurements for immediate reaction, whereas an agent equipped with visual sensory observations can learn to proactively maneuver environments with obstacles and uneven terrain by anticipating changes in the environment many steps ahead. In this paper, we introduce LocoTransformer, an end-to-end RL method for quadrupedal locomotion that leverages a Transformer-based model for fusing proprioceptive states and visual observations. We evaluate our method in challenging simulated environments with different obstacles and uneven terrain. We show that our method obtains significant improvements over policies with only proprioceptive state inputs, and that Transformer-based models further improve generalization across environments. Our project page with videos is at https://RchalYang.github.io/LocoTransformer .
• Abstract（参考訳）: 本研究では,高次元深度センサ入力と固有情報を組み合わせたトランスフォーマティブモデルを用いた強化学習(rl)を用いて,四足歩行課題に対処することを提案する。 学習に基づく移動はRLを使用して大きな進歩を遂げてきたが、ほとんどの手法は、挑戦的な地形に一般化するブラインドエージェントの訓練にドメインランダム化に依存している。 我々の重要な洞察は、プロセプティヴな状態は即時反応のための接触測定のみを提供するのに対し、視覚的な感覚観察を備えたエージェントは、環境の変化を予測して障害物や不均一な地形で積極的に環境を操ることを学ぶことができるということです。 本稿では,四足歩行のためのエンドツーエンドrl法であるlocotransformerについて紹介する。 異なる障害物と不均一な地形を有するシミュレート環境において,提案手法を評価する。 提案手法は,プロプリセプティブな状態入力のみによるポリシーよりも大幅に改善され,トランスフォーマーベースモデルにより環境全体の一般化がさらに向上することを示す。 ビデオ付きプロジェクトページはhttps://rchalyang.github.io/locotransformer.com/。

関連論文リスト

• Offline Adaptation of Quadruped Locomotion using Diffusion Models [59.882275766745295]
  本稿では,複数のスキル間の相互補間と学習の限界に同時に対処する,四足歩行への拡散に基づくアプローチを提案する。 これらの機能は、マルチスキルポリシーと互換性があり、ほとんど変更することなく、最小限の計算オーバーヘッドで適用可能であることを示す。 ANYmal四重奏プラットフォーム上でのハードウェア実験によるアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2024-11-13T18:12:15Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Learning to Walk by Steering: Perceptive Quadrupedal Locomotion in Dynamic Environments [25.366480092589022]
  四足歩行ロボットは、環境の乱雑さや移動する障害物に応答して、頑丈で機敏な歩行行動を示す必要がある。 本稿では,知覚的移動の問題をハイレベルな意思決定に分解する,PreLUDEという階層型学習フレームワークを提案する。 シミュレーションおよびハードウェア実験において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-19T17:55:07Z)
• An Adaptable Approach to Learn Realistic Legged Locomotion without Examples [38.81854337592694]
  本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。 モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-28T10:14:47Z)
• Vision-Guided Quadrupedal Locomotion in the Wild with Multi-Modal Delay Randomization [9.014518402531875]
  我々は、予め定義されたコントローラや参照動作を使わずに、物理シミュレータにおけるエンドツーエンド制御のためのRLポリシーを訓練する。 ロボットが高速でスムーズに動き、障害物を回避し、ベースラインよりも大幅に改善できることを実証する。
  論文  参考訳（メタデータ） (2021-09-29T16:48:05Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• RLOC: Terrain-Aware Legged Locomotion using Reinforcement Learning and Optimal Control [6.669503016190925]
  四元計画と制御のためのモデルベースとデータ駆動の統一的アプローチを提案する。 センサ情報と所望のベース速度コマンドを、強化学習ポリシーを用いて足踏み計画にマッピングする。 我々は、複雑な四足歩行システムであるANYmal Bの枠組みを訓練し、再訓練を必要とせず、より大きく重いロボットであるANYmal Cへの移動性を示す。
  論文  参考訳（メタデータ） (2020-12-05T18:30:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。