Fugu-MT 論文翻訳(概要): Real-World Robot Applications of Foundation Models: A Review

論文の概要: Real-World Robot Applications of Foundation Models: A Review

arxiv url: http://arxiv.org/abs/2402.05741v2
Date: Wed, 23 Oct 2024 03:39:00 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-24 13:54:05.396045
Title: Real-World Robot Applications of Foundation Models: A Review
Title（参考訳）: ファンデーションモデルを用いた実世界のロボット応用
Authors: Kento Kawaharazuka, Tatsuya Matsushima, Andrew Gambardella, Jiaxian Guo, Chris Paxton, Andy Zeng,
Abstract要約: LLM(Large Language Models)やVLM(Vision-Language Models)のような基盤モデルの最近の発展は、様々なタスクやモダリティにまたがる柔軟な適用を促進する。本稿では,現実のロボット工学における基礎モデルの実用的応用について概説する。
参考スコア（独自算出の注目度）: 25.53250085363019
License:
Abstract: Recent developments in foundation models, like Large Language Models (LLMs) and Vision-Language Models (VLMs), trained on extensive data, facilitate flexible application across different tasks and modalities. Their impact spans various fields, including healthcare, education, and robotics. This paper provides an overview of the practical application of foundation models in real-world robotics, with a primary emphasis on the replacement of specific components within existing robot systems. The summary encompasses the perspective of input-output relationships in foundation models, as well as their role in perception, motion planning, and control within the field of robotics. This paper concludes with a discussion of future challenges and implications for practical robot applications.
Abstract（参考訳）: 大規模言語モデル(LLMs)やビジョン言語モデル(VLMs)といった基盤モデルの最近の発展は、広範なデータに基づいて訓練され、さまざまなタスクやモダリティにわたる柔軟なアプリケーションを容易にします。彼らの影響は、医療、教育、ロボット工学など様々な分野に及んでいる。本稿では,実世界のロボット工学における基礎モデルの実用的応用について概説し,既存のロボットシステムにおける特定の部品の置き換えに重点を置いている。この要約は、基礎モデルにおけるインプット・アウトプット関係の観点と、ロボット工学の分野における知覚、運動計画、制御におけるそれらの役割を包括する。本稿では,ロボットの実用化に向けた今後の課題と課題について論じる。

関連論文リスト

$π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文参考訳（メタデータ） (2024-10-31T17:22:30Z)
Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文参考訳（メタデータ） (2024-10-17T17:59:02Z)
Robot Utility Models: General Policies for Zero-Shot Deployment in New Environments [26.66666135624716]
ゼロショットロボットポリシーのトレーニングとデプロイのためのフレームワークであるロボットユーティリティモデル(RUM)を提案する。 RUMは微調整なしで新しい環境に一般化できる。キャビネットドアのオープン、引き出しのオープン、ナプキンのピックアップ、紙袋のピックアップ、転倒物の再配向の5つのユーティリティモデルを訓練する。
論文参考訳（メタデータ） (2024-09-09T17:59:50Z)
A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
論文参考訳（メタデータ） (2024-02-04T07:55:01Z)
AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文参考訳（メタデータ） (2024-01-23T18:45:54Z)
Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis [82.59451639072073]
汎用ロボットはどんな環境でも、どんな物体でもシームレスに動作し、様々なスキルを使って様々なタスクをこなす。コミュニティとしては、特定のタスク用に設計し、特定のデータセットでトレーニングし、特定の環境にデプロイすることで、ほとんどのロボットシステムを制約してきました。ウェブスケールで大規模で大容量の事前学習型モデルの優れたオープンセット性能とコンテンツ生成能力に感銘を受けて,本調査は,汎用ロボティクスに基礎モデルを適用する方法について検討した。
論文参考訳（メタデータ） (2023-12-14T10:02:55Z)
Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文参考訳（メタデータ） (2023-06-09T07:22:12Z)
Foundation Models for Decision Making: Problems, Methods, and Opportunities [124.79381732197649]
大規模に多様なデータに基づいて事前訓練された基礎モデルは、幅広いビジョンと言語タスクにおいて異常な能力を示してきた。ファンデーションモデルをトレーニングし、他のエージェントと対話し、長期的な推論を行うための新しいパラダイムが生まれている。基礎モデルと意思決定の交わりにおける研究は、強力な新しいシステムを作るための大きな約束である。
論文参考訳（メタデータ） (2023-03-07T18:44:07Z)
RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文参考訳（メタデータ） (2022-12-13T18:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。