論文の概要: Foundation Models for Autonomous Robots in Unstructured Environments
- arxiv url: http://arxiv.org/abs/2407.14296v1
- Date: Fri, 19 Jul 2024 13:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:24:54.192094
- Title: Foundation Models for Autonomous Robots in Unstructured Environments
- Title（参考訳）: 非構造環境における自律ロボットの基礎モデル
- Authors: Hossein Naderi, Alireza Shojaei,
- Abstract要約: この研究は、ロボットと非構造環境の2つの分野における基礎モデルの応用を体系的にレビューした。
LLMの言語能力は、人間とロボットの相互作用の知覚を改善するために、他の特徴よりも利用されてきた。
LLMの使用は、プロジェクトの管理と建設における安全性、災害管理における自然災害検出により多くの応用を実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automating activities through robots in unstructured environments, such as construction sites, has been a long-standing desire. However, the high degree of unpredictable events in these settings has resulted in far less adoption compared to more structured settings, such as manufacturing, where robots can be hard-coded or trained on narrowly defined datasets. Recently, pretrained foundation models, such as Large Language Models (LLMs), have demonstrated superior generalization capabilities by providing zero-shot solutions for problems do not present in the training data, proposing them as a potential solution for introducing robots to unstructured environments. To this end, this study investigates potential opportunities and challenges of pretrained foundation models from a multi-dimensional perspective. The study systematically reviews application of foundation models in two field of robotic and unstructured environment and then synthesized them with deliberative acting theory. Findings showed that linguistic capabilities of LLMs have been utilized more than other features for improving perception in human-robot interactions. On the other hand, findings showed that the use of LLMs demonstrated more applications in project management and safety in construction, and natural hazard detection in disaster management. Synthesizing these findings, we located the current state-of-the-art in this field on a five-level scale of automation, placing them at conditional automation. This assessment was then used to envision future scenarios, challenges, and solutions toward autonomous safe unstructured environments. Our study can be seen as a benchmark to track our progress toward that future.
- Abstract（参考訳）: 建設現場などの非構造環境におけるロボットによる作業の自動化は長年にわたって望まれてきた。
しかし、これらの設定における予測不可能なイベントの度合いは、製造のようなより構造化された設定よりもはるかに少ない。
近年,Large Language Models (LLMs) のような事前訓練された基礎モデルは,学習データに存在しない問題に対するゼロショットソリューションを提供することによって,非構造化環境にロボットを導入するための潜在的な解決策として提案されている。
そこで本研究では,多次元的観点から,事前学習した基礎モデルの潜在可能性と課題について検討する。
この研究は、ロボットと非構造環境の2つの分野における基礎モデルの応用を体系的にレビューし、それらを熟考的行動理論で合成した。
LLMの言語能力は、人間とロボットの相互作用の知覚を改善するために、他の特徴よりも利用されてきた。
一方, LLMの使用は, 建設におけるプロジェクト管理と安全, 災害管理における自然災害検出により多くの応用があることが示唆された。
これらの知見を合成し、この分野の最先端の技術を5段階の自動化スケールに配置し、条件付き自動化に配置した。
この評価は、自律的な安全な非構造環境に対する将来のシナリオ、課題、解決策を想定するために使用された。
私たちの研究は、その将来に向けての進捗を追跡するためのベンチマークと見なすことができます。
関連論文リスト
- Real-World Robot Applications of Foundation Models: A Review [27.054641862377807]
LLM(Large Language Models)やVLM(Vision-Language Models)のような基盤モデルの最近の発展は、様々なタスクやモダリティにまたがる柔軟な適用を促進する。
本稿では,現実のロボット工学における基礎モデルの実用的応用について概説する。
論文 参考訳（メタデータ） (2024-02-08T15:19:50Z) - A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。
この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
論文 参考訳（メタデータ） (2024-02-04T07:55:01Z) - AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。
われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。
実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文 参考訳（メタデータ） (2024-01-23T18:45:54Z) - Toward General-Purpose Robots via Foundation Models: A Survey and
Meta-Analysis [73.89558418030418]
既存のロボットシステムは、特定のタスクのために設計され、特定のデータセットに基づいて訓練され、特定の環境にデプロイされている。
ウェブスケールで大規模で大容量の事前学習型モデルの優れたオープンセット性能とコンテンツ生成能力に感銘を受けて,我々は,基礎モデルをロボット工学に適用する方法を探究した。
論文 参考訳（メタデータ） (2023-12-14T10:02:55Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T22:54:44Z) - ROSO: Improving Robotic Policy Inference via Synthetic Observations [0.0]
本稿では、事前訓練されたポリシーのゼロショット性能を改善するために、生成人工知能の利用を提案する。
我々の実験は、生成AIをロボット推論に組み込むことで、成果が大幅に向上することを示した。
論文 参考訳（メタデータ） (2023-11-28T10:52:35Z) - JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds [79.00975648564483]
ロボット工学、自動運転車、ナビゲーションなどの分野で使用される軌道予測モデルは、現実のシナリオにおいて課題に直面している。
このデータセットは、ロボットの観点から、すべてのエージェント、シーンイメージ、ポイントクラウドの位置を含む包括的なデータを提供する。
本研究の目的は,ロボットに対するエージェントの将来の位置を,生の感覚入力データを用いて予測することである。
論文 参考訳（メタデータ） (2023-11-05T18:59:31Z) - Robots That Ask For Help: Uncertainty Alignment for Large Language Model
Planners [85.03486419424647]
KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。
KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
論文 参考訳（メタデータ） (2023-07-04T21:25:12Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - Domain Randomization for Robust, Affordable and Effective Closed-loop
Control of Soft Robots [10.977130974626668]
ソフトロボットは、コンタクトや適応性に対する本質的な安全性によって人気を集めている。
本稿では、ソフトロボットのRLポリシーを強化することにより、ドメインランダム化(DR)がこの問題を解決する方法を示す。
本稿では,変形可能なオブジェクトに対する動的パラメータの自動推論のための,従来の適応的領域ランダム化手法に対する新しいアルゴリズム拡張を提案する。
論文 参考訳（メタデータ） (2023-03-07T18:50:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。