論文の概要: HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers
- arxiv url: http://arxiv.org/abs/2410.05273v2
- Date: Mon, 21 Oct 2024 06:50:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:14:09.363744
- Title: HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers
- Title(参考訳): HiRT:階層型ロボットトランスによるロボット制御の強化
- Authors: Jianke Zhang, Yanjiang Guo, Xiaoyu Chen, Yen-Jen Wang, Yucheng Hu, Chengming Shi, Jianyu Chen,
- Abstract要約: 大型ビジョンランゲージ・アクション(VLA)モデルは、その印象的な一般化能力のためにロボット制御において有望であることが示されている。
数十億のパラメータを持つVLMバックエンドへの依存は、高い計算コストと遅延推定につながる。
本稿では,柔軟な周波数・性能トレードオフを実現する階層型ロボットトランスフォーマフレームワークであるHiRTを提案する。
- 参考スコア(独自算出の注目度): 12.373320641721344
- License:
- Abstract: Large Vision-Language-Action (VLA) models, leveraging powerful pre trained Vision-Language Models (VLMs) backends, have shown promise in robotic control due to their impressive generalization ability. However, the success comes at a cost. Their reliance on VLM backends with billions of parameters leads to high computational costs and inference latency, limiting the testing scenarios to mainly quasi-static tasks and hindering performance in dynamic tasks requiring rapid interactions. To address these limitations, this paper proposes HiRT, a Hierarchical Robot Transformer framework that enables flexible frequency and performance trade-off. HiRT keeps VLMs running at low frequencies to capture temporarily invariant features while enabling real-time interaction through a high-frequency vision-based policy guided by the slowly updated features. Experiment results in both simulation and real-world settings demonstrate significant improvements over baseline methods. Empirically, in static tasks, we double the control frequency and achieve comparable success rates. Additionally, on novel real-world dynamic ma nipulation tasks which are challenging for previous VLA models, HiRT improves the success rate from 48% to 75%.
- Abstract(参考訳): VLM(Varge Vision-Language-Action)バックエンドを利用した大型ビジョン・ランゲージ・アクション(VLA)モデルは、その印象的な一般化能力により、ロボット制御において有望であることが示されている。
しかし、成功にはコストがかかる。
数十億のパラメータを持つVLMバックエンドへの依存は、高い計算コストと推論遅延をもたらし、テストシナリオを主に準静的タスクに制限し、迅速な相互作用を必要とする動的タスクのパフォーマンスを妨げる。
これらの制約に対処するために, 柔軟な周波数・性能トレードオフを実現する階層型ロボットトランスフォーマフレームワークであるHiRTを提案する。
HiRTは、VLMを低周波で動作させ、一時的に不変な特徴を捉えつつ、ゆっくりと更新された特徴によって誘導される高周波ビジョンベースのポリシーを通じてリアルタイムのインタラクションを可能にする。
シミュレーションと実環境設定の両方の実験結果は,ベースライン法よりも大幅に改善されている。
経験的に、静的タスクでは、制御周波数を2倍にし、同等の成功率を達成する。
さらに、従来のVLAモデルでは難しい新しい実世界の動的マニポレーションタスクでは、HiRTは成功率を48%から75%に改善する。
関連論文リスト
- AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。
本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文 参考訳(メタデータ) (2024-07-17T18:38:48Z) - Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。
視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。
ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
論文 参考訳(メタデータ) (2024-07-11T17:31:01Z) - Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning [61.294110816231886]
我々はスパース・リユース・フレキシブル・ポリシー、スパース・ディフュージョン・ポリシー(SDP)を導入する。
SDPは、エキスパートとスキルを選択的に活性化し、モデル全体をトレーニングすることなく、効率的でタスク固有の学習を可能にする。
デモとコードはhttps://forrest-110.io/sparse_diffusion_policy/にある。
論文 参考訳(メタデータ) (2024-07-01T17:59:56Z) - OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。
OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。
モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
論文 参考訳(メタデータ) (2024-06-13T15:46:55Z) - LGR2: Language Guided Reward Relabeling for Accelerating Hierarchical Reinforcement Learning [22.99690700210957]
言語命令を利用して,より高レベルなポリシーのための静的報酬関数を生成する新しいHRLフレームワークを提案する。
言語誘導報酬はより低い原始的な振る舞いに影響されないため、LGR2は非定常性を緩和する。
弊社のアプローチは、難易度の高いスパークリワードロボットナビゲーションと操作環境において、70ドル以上の成功率を達成した。
論文 参考訳(メタデータ) (2024-06-09T18:40:24Z) - Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning [42.862705980039784]
Transformerは、時間変化のある特徴をモデル化するための強化学習を約束している。
データ効率の低下と推論遅延の低さに悩まされている。
本稿では,周波数領域の新しい視点から課題を考察する。
論文 参考訳(メタデータ) (2024-05-30T09:43:59Z) - Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves [69.9104427437916]
マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。
これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。
本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
論文 参考訳(メタデータ) (2024-04-17T02:04:10Z) - SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust
Attention [34.276999297736346]
ロボットトランス(SARA-RT)の自己適応ロバスト注意
ロボット上でのデプロイメントにおいて、ロボティクストランスフォーマー(RT)をスケールアップするという、新たな課題に対処する新たなパラダイム。
論文 参考訳(メタデータ) (2023-12-04T16:08:47Z) - Learning Low-Frequency Motion Control for Robust and Dynamic Robot
Locomotion [10.838285018473725]
実ANYmal C四重極上で8Hzの低速動作を行う学習モーションコントローラを用いて,ロバストでダイナミックな移動を実演する。
このロボットは、1.5m/sの高速度を頑健かつ反復的に達成し、不均一な地形を横切ることができ、予期せぬ外乱に抵抗することができる。
論文 参考訳(メタデータ) (2022-09-29T15:55:33Z) - An Empirical Study of Training End-to-End Vision-and-Language
Transformers [50.23532518166621]
我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。
具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
論文 参考訳(メタデータ) (2021-11-03T17:55:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。