論文の概要: SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

• arxiv url: http://arxiv.org/abs/2312.01990v1
• Date: Mon, 4 Dec 2023 16:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 14:54:23.805199
• Title: SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention
• Title（参考訳）: SARA-RT: 自己適応型ロバスト注意によるロボットトランスフォーマーのスケールアップ
• Authors: Isabel Leal, Krzysztof Choromanski, Deepali Jain, Avinava Dubey, Jake Varley, Michael Ryoo, Yao Lu, Frederick Liu, Vikas Sindhwani, Quan Vuong, Tamas Sarlos, Ken Oslund, Karol Hausman, Kanishka Rao
• Abstract要約: ロボットトランス(SARA-RT)の自己適応ロバスト注意 ロボット上でのデプロイメントにおいて、ロボティクストランスフォーマー(RT)をスケールアップするという、新たな課題に対処する新たなパラダイム。
• 参考スコア（独自算出の注目度）: 34.276999297736346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Self-Adaptive Robust Attention for Robotics Transformers (SARA-RT): a new paradigm for addressing the emerging challenge of scaling up Robotics Transformers (RT) for on-robot deployment. SARA-RT relies on the new method of fine-tuning proposed by us, called up-training. It converts pre-trained or already fine-tuned Transformer-based robotic policies of quadratic time complexity (including massive billion-parameter vision-language-action models or VLAs), into their efficient linear-attention counterparts maintaining high quality. We demonstrate the effectiveness of SARA-RT by speeding up: (a) the class of recently introduced RT-2 models, the first VLA robotic policies pre-trained on internet-scale data, as well as (b) Point Cloud Transformer (PCT) robotic policies operating on large point clouds. We complement our results with the rigorous mathematical analysis providing deeper insight into the phenomenon of SARA.
• Abstract（参考訳）: 本稿では,ロボットトランスフォーマー(sara-rt)に対して,ロボットトランスフォーマー(rt)のスケールアップという新たな課題に取り組むための新しいパラダイムを提案する。 SARA-RTは、アップトレーニングと呼ばれる、私たちが開発したファインチューニングの新しい手法に依存しています。 トレーニング済みまたはすでに微調整済みのTransformerベースのロボットポリシー(数十億パラメータの視覚言語アクションモデル(VLA)を含む)を、高品質を維持する効率的な線形アテンションモデルに変換する。 高速化によるSARA-RTの有効性を示す。 (a)最近導入されたRT-2モデルのクラス。インターネットスケールデータで事前訓練された最初のVLAロボットポリシーである。 (b)ポイントクラウドトランスフォーマー(pct) 大きなポイントクラウドで動作するロボットポリシー。 我々は,サラ現象に対する深い洞察を与える厳密な数学的解析によって,この結果を補完する。

関連論文リスト

• HiRT: Enhancing Robotic Control with Hierarchical Robot Transformers [12.373320641721344]
  大型ビジョンランゲージ・アクション(VLA)モデルは、その印象的な一般化能力のためにロボット制御において有望であることが示されている。 数十億のパラメータを持つVLMバックエンドへの依存は、高い計算コストと遅延推定につながる。 本稿では,柔軟な周波数・性能トレードオフを実現する階層型ロボットトランスフォーマフレームワークであるHiRTを提案する。
  論文  参考訳（メタデータ） (2024-09-12T09:18:09Z)
• Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
  Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
  論文  参考訳（メタデータ） (2024-08-08T17:49:07Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• RLingua: Improving Reinforcement Learning Sample Efficiency in Robotic Manipulations With Large Language Models [16.963228633341792]
  強化学習(Reinforcement Learning, RL)は、様々なタスクを解く能力を示したが、サンプル効率が低いことで悪名高い。 RLinguaは大規模言語モデル(LLM)の内部知識を活用でき、ロボット操作におけるRLの複雑さを軽減できるフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T04:13:26Z)
• AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
  AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。 われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。 実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-01-23T18:45:54Z)
• Learning Bipedal Walking for Humanoids with Current Feedback [5.429166905724048]
  アクチュエータレベルでの不正確なトルクトラッキングから生じるヒューマノイドロボットのシム2リアルギャップ問題を克服するためのアプローチを提案する。 提案手法は、実際のHRP-5Pヒューマノイドロボットに展開して二足歩行を実現するシミュレーションにおいて、一貫したエンドツーエンドのポリシーをトレーニングする。
  論文  参考訳（メタデータ） (2023-03-07T08:16:46Z)
• REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer [57.045140028275036]
  本研究では,運動学や形態学など,異なるパラメータを持つ2つの異なるロボット間でポリシーを伝達する問題を考察する。 模倣学習手法を含む動作や状態遷移の分布を一致させることで、新しいポリシーを訓練する既存のアプローチは、最適な動作や/または状態分布が異なるロボットでミスマッチしているために失敗する。 本稿では,物理シミュレータに実装されたロボット政策伝達に連続的進化モデルを用いることで,$RevolveR$という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-02-10T18:50:25Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。